代码之家  ›  专栏  ›  技术社区  ›  Samantha Branham

我的面向公众的网站是否绝对需要robots.txt文件?

  •  0
  • Samantha Branham  · 技术社区  · 16 年前

    我正在审查我的几个网站,以确保我的搜索引擎优化基础覆盖。有问题的网站上没有私人页面,我们希望所有页面都被索引。包括robots.txt文件,即使它不是必需的,是否会让我的网站在谷歌看来更具声誉和重要性?

    6 回复  |  直到 16 年前
        1
  •  9
  •   RedWolves    16 年前

    我只会包括一个空白的,因为没有它,您的服务器仍然会向请求者发出404消息。它可能比一个空白的robots.txt文件大。

        2
  •  3
  •   Andy Mikula Eric Mickelsen    16 年前

    Google ,这是个好主意。他们的指示/指导方针实际上相当详尽。

        3
  •  2
  •   Unknown    16 年前

    只有谷歌能帮你回答这个问题。

    wikipedia ,robots.txt仅用于黑名单、速率限制和网站地图。

        4
  •  1
  •   vegemite4me    11 年前

    这个问题已经得到了回答,但答案都有点陈旧,这个问题继续出现在搜索结果中,情况已经发生了变化。

    Google now recommend 以下是:

    需要robots.txt文件(甚至不是空文件)。

    JohnMu(谷歌的)也制作了 following suggestion

    我建议再进一步,也许可以移除 robots.txt文件完整。

        5
  •  0
  •   Francis    16 年前

    谷歌有自己的规则来决定,不会依赖robots.txt的存在。

        6
  •  0
  •   Buddy    16 年前