用.NET在SSL上进行屏幕抓取

也许考虑一下 WATIN 模拟导航或 WebClient 如果你能自己找到项目并模拟逻辑。

在.NET中,屏幕刮擦的金标准是 HTML Agility Pack .

至于通过https检索页面,请尝试以下文章:

• Making Authenticated HTTP Requests from an ASP.NET Page

(如其他答案所述,您可能在 自动化 而不是 筛网刮削 在这种情况下,你最好 WatiN ,一个原本为自动化Web测试而设计的框架,但足够灵活以满足您的需要)

您当然可以使用httpwebrequest执行此操作,但是跟踪用于登录的cookie可能是非常重要的。我建议使用 watir (红宝石)或 watin (C)。他们都会为你处理所有这些。

从Watin网站上,这里有一个例子:

public void SearchForWatiNOnGoogle()
{
 using (IE ie = new IE("http://www.google.com"))
 {
  ie.TextField(Find.ByName("q")).TypeText("WatiN");
  ie.Button(Find.ByName("btnG")).Click();

  Assert.IsTrue(ie.ContainsText("WatiN"));
 }
}

我听说有人在他们的程序中托管浏览器,并使用jquery进行抓取。我觉得很好,因为jquery非常适合搜索dom。