我的面向公众的网站是否绝对需要robots.txt文件?

我只会包括一个空白的,因为没有它,您的服务器仍然会向请求者发出404消息。它可能比一个空白的robots.txt文件大。

Google ,这是个好主意。他们的指示/指导方针实际上相当详尽。

只有谷歌能帮你回答这个问题。

wikipedia ,robots.txt仅用于黑名单、速率限制和网站地图。

这个问题已经得到了回答,但答案都有点陈旧,这个问题继续出现在搜索结果中,情况已经发生了变化。

Google now recommend 以下是:

需要robots.txt文件(甚至不是空文件)。

JohnMu(谷歌的)也制作了 following suggestion

我建议再进一步,也许可以移除 robots.txt文件完整。

谷歌有自己的规则来决定,不会依赖robots.txt的存在。