创建一个简单的“蜘蛛”

你不是在找我 spidering screen scraping .

我不得不同意Bombe的观点,它听起来更像是你想要HTML屏幕抓取。它需要大量的解析,如果你的抓取页面发生了变化,你的应用程序就会崩溃,但下面是一个小例子:

WebClient webClient = new WebClient(); 
const string strUrl = "http://www.yahoo.com/"; 
byte[] reqHTML; 
reqHTML = webClient.DownloadData(strUrl); 
UTF8Encoding objUTF8 = new UTF8Encoding(); 
string html = objUTF8.GetString(reqHTML); 

因为浏览器只是呈现底层内容,所以最灵活的方法是自己解析底层内容(html/css/js/随便什么)。

我将创建一个解析引擎来查找您的spider应用程序需要的东西。