HttpBrowser功能。克劳勒财产。导航战鉴定小组

这一切都是由作为的一部分的默认browsercaps声明驱动的。NET框架。

要设置此特定的爬网程序,您需要在web.config中添加一个自定义的browserCaps部分,以将其标识为爬网程序。

MSDN关于如何做到这一点的文档记录得很好, here is a link.

HttpBrowserCapabilities由C:\WINDOWS\Microsoft中的一组*.browser文件填充。NET\Framework\v2.0.50727\CONFIG\浏览器。您可以在~/App_Browser/中添加自己的文件,其中包含自定义爬虫的详细信息。架构为 here 。基本上,它包含一个与User-Agent标头匹配的正则表达式和一组属性值。