代码之家 › 专栏 › 技术社区 › donohoe

一种简单的方法来禁止所有目录的溢出,但有例外[已关闭]

robots.txt web-crawler

donohoe · 技术社区 · 14 年前

有什么好写的吗 robots.txt文件 除了指定目录之外,禁止所有内容的索引?

目前 不允许

有人解决过这个问题吗?

1 回复 | 直到 14 年前

Paul McMillan 14 年前

没有一个好的解决方案。正如你所说,你可以拒绝一切向世界宣布事情的事情。

推荐文章

chans.best · StormCrawler和Hortonworks 1.1.0.2.6.4.0-91之间的Commons日志版本冲突

7 年前

Tae · Python3中方法has\u key的替换

7 年前

Jonas Pohlmann · Stormcrawler没有为elasticsearch获取/索引页面

7 年前

Teslaturing · 在python中从结果中获取指定单词后的动态数字并存储在数据库中

7 年前

Vega · 如何从DOM获取所有链接?

7 年前

Vivek Kumar Sinha · 产生刮痕。请求()无法正常工作以爬网下一页

7 年前

bob9123 · 为什么状态和索引中的文档计数不同?

7 年前

Konstantin · crawler中未启动回调函数,scrapy

7 年前

SY9 · 刮:已爬网并刮取0个项目

7 年前

Vani4ka · Crawler4j、Jsoup和JavaScript:提取用JavaScript修改的属性值

7 年前