谷歌爬行404后的其他页面,所以没有牺牲爬行预算

| (2) by Barry Schwartz |在谷歌搜索引擎优化下提交的Prev故事下一个故事推特分享 Prev故事下一个故事

每个人都知道,谷歌不时会尝试爬行404 -这是正常的和预期的。但这会影响你的爬行预算吗?谷歌电视台的约翰·穆勒表示并非如此。在Twitter上,John写道谷歌“通常会在我们抓取了重要的url后再抓取这些url”。这意味着,首先他们会把你的抓取预算排在更重要的url上,如果还有更多的抓取预算,他们可能会继续使用其中的一些来尝试旧的404。John补充道:“所以在这种情况下,爬行预算不会被耗尽。”

@miguelpau @davidwkelley @ googllewmc我们通常在爬过重要的url后再爬那些url,所以没有什么用完。

——约翰·. o(≧▽≦)o。如果你点击过去,你可以看到这个问题的来回,但一般来说,当谷歌爬行404,这意味着你有额外的爬行预算-这对你的网站可能是一个好迹象。所以也许404的峰值意味着你的站点有一些优秀的爬行预算支出?

论坛在Twitter上讨论。