代码之家 › 专栏 › 技术社区 › SharePoint Newbie

Robots.txt禁止一切,只允许站点/页面的特定部分。像Ultraseek和FAST这样的爬虫程序支持“允许”吗?

ultraseek fast-esp robots.txt

4

SharePoint Newbie · 技术社区 · 16 年前

像FAST和Ultraseek这样的爬虫程序支持“允许”吗?

1 回复 | 直到 13 年前

1

7

Marc Novakowski 16 年前

有一个 Allow Directive 但是,不能保证特定的机器人会支持它(就像不能保证机器人会首先检查robots.txt一样)。通过查看您的日志,您可能可以判断特定的机器人是否仅为您允许的网站部分编制索引。

Allow: /public/section1/
Disallow: /

这(应该)可以防止机器人抓取或索引除/public/section1下的内容以外的任何内容