匿名用户支持与谷歌机器人

我认为这里最好的策略是手动添加机器人程序的“例外”。您可以执行以下两种操作之一:

A.不要为bots创建用户对象(如果应用程序允许正常流,这是最好的做法) b.为bot创建单个用户对象,并在每次尝试加载页面时使用它。

通常,可以检查请求的用户代理头,它将包括yahooslurp、googlebot或其他类型的bot。

如果您使用的是.NET,那么page.request.browser.crawler中有一个属性应该指示它是否是bot。我不确定这是否在其他平台上体现

尽管有些爬虫有隐藏他们是爬虫的倾向(我最近看到过msn这样做),但只需发送一个看起来像普通浏览器的用户代理字段,所以你必须按IP范围过滤这些字段,但这就变成了一个whackamole游戏,所以你可能会以j结尾。必须忍受这些情况。