代码之家 › 专栏 › 技术社区 › Tim Scott

Googlebot忽略robots.txt?[关闭]

robot googlebot robots.txt

8

Tim Scott · 技术社区 · 16 年前

我有一个根目录中包含以下robots.txt的网站:

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

这个网站内的页面整天都在被Googlebot扫描。我的文件或谷歌有什么问题吗?

4 回复 | 直到 2 年前

1

23

Sean Carpenter 16 年前

应该是 Disallow: ,不 Disabled: .

2

9

Marc Novakowski 16 年前

3

2

Paul Dixon 16 年前

谷歌有一个分析工具来检查robots.txt条目, read about it here

你可能还想检查“流氓”机器人的IP地址,看看它们是否真的归谷歌所有。

4

0

Andrew Andrew 16 年前

此外,我相信机器人会进入页面并获取适用于它的第一个指令。在你的情况下,Googlebot和Googlebot Image永远不会看到他们的具体指令,因为他们会首先尊重“User-Agent:*”。

忽略这个答案。我发现的信息表明事实并非如此。机器人应该找到特定于它的指令并尊重它