代码之家 › 专栏 › 技术社区 › Samantha Branham

我的面向公众的网站是否绝对需要robots.txt文件?

search-engine

Samantha Branham · 技术社区 · 17 年前

我正在审查我的几个网站,以确保我的搜索引擎优化基础覆盖。有问题的网站上没有私人页面,我们希望所有页面都被索引。包括robots.txt文件,即使它不是必需的,是否会让我的网站在谷歌看来更具声誉和重要性?

6 回复 | 直到 17 年前

RedWolves 17 年前

我只会包括一个空白的,因为没有它,您的服务器仍然会向请求者发出404消息。它可能比一个空白的robots.txt文件大。

Andy Mikula Eric Mickelsen 17 年前

Google ,这是个好主意。他们的指示/指导方针实际上相当详尽。

Unknown 17 年前

只有谷歌能帮你回答这个问题。

wikipedia ,robots.txt仅用于黑名单、速率限制和网站地图。

vegemite4me 12 年前

这个问题已经得到了回答,但答案都有点陈旧,这个问题继续出现在搜索结果中,情况已经发生了变化。

需要robots.txt文件(甚至不是空文件)。

JohnMu(谷歌的)也制作了 following suggestion

我建议再进一步,也许可以移除 robots.txt文件完整。

Francis 17 年前

谷歌有自己的规则来决定,不会依赖robots.txt的存在。

Buddy 17 年前