代码之家  ›  专栏  ›  技术社区  ›  ThinkCode

帮助处理奇怪的python抓取错误。一台机器在其他机器上工作时发生httperror

  •  0
  • ThinkCode  · 技术社区  · 16 年前

    我正在使用代理,下面是代码。

     20     req = urllib2.Request(url)
     21     # run the request for each proxy
     22     # now set the proxy
     23     req.set_proxy(proxy, "http")
     24     req.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3')
     25     req.add_header('Referer', 'http://www.google.com/')
     26     # time it
     27     start = time.time()
     28     # try to open the URL
     29 
     30     time.sleep(maxwait*random.random())
     31     #response = urllib2.urlopen(req)
     32     opener = urllib2.build_opener()
     33     response = opener.open(req).read()
    

    在一台计算机上运行良好(直接使用eclipse和firefox),但在另一台计算机(不同的ip)上的终端上运行时失败,并出现以下错误。

    urllib2.HTTPError: HTTP Error 403: Forbidden
    

    有什么线索吗?谢谢大家!

    1 回复  |  直到 16 年前
        1
  •  0
  •   hoju    15 年前

    这个脚本在第一台机器上运行吗?

    检查此处以查看代理是否工作: http://www.domaintools.com/research/my-ip/