代码之家 › 专栏 › 技术社区 › shawnr

为什么谷歌(或谷歌机器人)会索引一个返回500错误的页面?

googlebot search-engine seo indexing

shawnr · 技术社区 · 16 年前

Googlebot偶尔会用一个错误的查询字符串参数为我们的一个站点编制索引。我不确定它是如何得到这个查询字符串参数的(似乎没有任何网站链接到我们的坏链接,我们的网站中没有插入坏值)。坏参数会导致站点抛出500错误,正如我们预期的那样。

我的印象是,谷歌不会为返回500错误的页面编制索引,但事实证明确实如此。现在我有两个问题:

1) 为什么Googlebot会插入随机的错误查询字符串值?(我真的不在乎这个问题的答案,但如果我们能做些什么来避免这个问题,它就会解决我们的问题。)

2) 为什么谷歌会索引一个返回500个错误的页面?

坏参数是gb=baqhuxts。参数“gb”应为整数。如果从查询字符串中删除该参数,您应该会看到一个很好的目录页面。

关于nofollow和robots.txt解决方案:[修订]

我现在意识到我是个白痴,于是放了一个元标签,告诉搜索机器人为页面编制索引。那是一件愚蠢的事。我要把它们拿走。W-(

如果你 search on Google for 'baqhuxts' 你会发现它已经用这个坏参数索引了10个页面。但每个页面都返回500个错误。有人知道谷歌为什么认为这些页面是可以索引的有效页面吗?

2 回复 | 直到 16 年前

Dan Diplo 16 年前

这可能是因为你告诉谷歌在你的meta标签中添加以下内容来索引它:

<meta name="robots" content="index,follow">

试着把它去掉!:)

mkoryak 16 年前

谷歌会抓取这样奇怪的页面,因为使用谷歌工具栏的人会进入不存在的页面,他们的浏览信息会传输到谷歌。这就是为什么您经常会发现被索引的页面没有被索引的业务,例如,没有从任何地方链接到的phpmyadmin页面。

推荐文章

Merlin Nestler · 为什么索引中的列顺序在这种情况下会产生如此大的影响?

1 年前

Max · 用两列中的特定值对识别R中的数据帧行

1 年前

Remaker Shadow · Excel-索引+匹配公式问题[重复]

1 年前

Dasi · Pandas.loc返回序列或浮点数不一致

1 年前

climsaver · 首次连续查找两个相同值的索引

1 年前

Ecanyte · 矩阵索引/展平

1 年前

Some Name · 为什么index[]试图移动值,但直接调用index不会[重复]

1 年前

sds Niraj Rajbhandari · 在时间戳索引中按日期时间查找不起作用

1 年前

babipsylon · 在C中创建div_t类型结构元素的数组++

1 年前

Martin AJ · 如何在庞大的数据集上快速执行COUNT(*)?

2 年前