代码之家  ›  专栏  ›  技术社区  ›  Developer

我如何保持日志的每一个机器人(谷歌,雅虎等)访问我的网站

  •  0
  • Developer  · 技术社区  · 14 年前

    如何记录/记录每个机器人访问我的网站。我想知道爬虫有多频繁爬网我的网站,哪些网页正在被索引或爬网。有没有什么php脚本,我可以用来知道谷歌,雅虎和其他机器人的访问。

    2 回复  |  直到 14 年前
        1
  •  0
  •   The Surrican    14 年前

    分析用户代理的日志文件 剩下的你自己去搜索或者考虑接受一些答案

        2
  •  0
  •   Tuf    14 年前

    使用awstats或robotstats, 它会完成任务的。