如何在HtmlAgilityPack中使用代理

代理IP没有响应,但您也没有在此代码行中传递web代理:

HtmlAgilityPack.HtmlDocument doc = web.Load(RefURL.ToString());

应该是:

HtmlAgilityPack.HtmlDocument doc = web.Load(RefURL.ToString(),"GET", webProxy);

第一步是找到 “刷新代理IP” 列表,例如:

• https://free-proxy-list.net/uk-proxy.html
• https://hidemy.name/en/proxy-list/
• http://free-proxy.cz
• http://nntime.com

这些地址中的大多数可以工作几个小时。退房 how to set proxy IP in a browser . 如果代理是匿名的, this page 应该无法检测您的位置和IP。

一旦您有了一个有效的代理IP和端口,您就可以创建webProxy对象,或者只需传递IP和端口。

string RefURL = "https://www.whatismyip.com/";
string myProxyIP = "119.81.197.124"; //check this is still available
int myPort = 3128;
string userId = string.Empty; //leave it blank
string password = string.Empty;
try
{
    HtmlWeb web = new HtmlWeb();
    var doc = web.Load(RefURL.ToString(), myProxyIP, myPort, userId, password);
    Console.WriteLine(doc.DocumentNode.InnerHtml);
}
catch (Exception ex)
{
    Console.WriteLine(ex.Message);
}