代码之家  ›  专栏  ›  技术社区  ›  Brandon Montgomery

过滤掉搜索引擎bot流量

  •  1
  • Brandon Montgomery  · 技术社区  · 16 年前

    我正在我的网站上进行定制滚动视图跟踪,我只是意识到我完全忘记了搜索机器人会点击网页。如何从我的视图跟踪中筛选出流量?

    2 回复  |  直到 16 年前
        1
  •  2
  •   Oli    16 年前

    看看用户代理。黑名单似乎是合乎逻辑的,即过滤掉所有包含“GoogleBot”或其他已知搜索引擎机器人程序的字符串,但其中有这么多,只需白名单就很容易了:使用已知浏览器记录访问者。

    另一种方法是使用一些javascript来进行实际的日志记录(就像谷歌分析一样)。僵尸不会加载JS,因此不会计入您的统计数据。您也可以用这种方式进行更详细的日志记录,因为您可以准确地看到(向下到像素,如果需要的话)单击了哪些链接。

        2
  •  0
  •   garph0    16 年前

    您可以检查用户代理: here 有一个很好的清单。 或者你可以交叉检查robots.txt上的点击量,因为所有蜘蛛都应该先阅读,而用户通常不会。