代码之家 › 专栏 › 技术社区 › backus sompnd

重写urlib2.httperror或urlib.error.httperror并读取响应html

http-error urllib urllib2 python

backus sompnd · 技术社区 · 16 年前

我收到“HTTP错误500:内部服务器错误”响应,但我仍然希望读取错误HTML中的数据。

对于python 2.6,我通常使用以下方法获取页面:

import urllib2
url = "http://google.com"
data = urllib2.urlopen(url)
data = data.read()

当尝试在失败的URL上使用它时,我会得到异常 urllib2.HTTPError :

urllib2.HTTPError: HTTP Error 500: Internal Server Error

我如何获取这样的错误页(有或没有错误页) urllib2 )同时返回内部服务器错误?

注意,对于python 3,相应的异常是 urllib.error.HTTPError .

3 回复 | 直到 9 年前

135

Acsor Åukasz 9 年前

这个 HTTPError is a file-like object . 你可以抓住它然后 read 它的内容。

try:
    resp = urllib2.urlopen(url)
    contents = resp.read()
except urllib2.HTTPError, error:
    contents = error.read()

sberry 15 年前

如果你的意思是你想读500的正文:

request = urllib2.Request(url, data, headers)
try:
        resp = urllib2.urlopen(request)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

在您的情况下,您不需要构建请求。只要做

try:
        resp = urllib2.urlopen(url)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

所以,您不重写urlib2.httperror,只需处理异常。

-1

Tunaki 10 年前

alist=['http://someurl.com']

def testUrl():
    errList=[]
    for URL in alist:
        try:
            urllib2.urlopen(URL)
        except urllib2.URLError, err:
            (err.reason != 200)
            errList.append(URL+" "+str(err.reason))
            return URL+" "+str(err.reason)
    return "".join(errList)

testUrl()

推荐文章

user8584384 · python urllib-在标题中发送#输入文本并提交

8 年前

blonc · python urllib。错误HTTPError(HTTP错误)

8 年前

Edgaras · Python-使用BeautifulSoup和Urllib进行抓取

8 年前

Nathan123 · 用于刮取结果的脚本似乎不起作用?

8 年前

Hojat Taheri · 在python 3中从页面提取链接

8 年前

Harry Moreno · 在Python中绘制通过url检索的图像网格

8 年前

Roman · urllib:html到csv错误

8 年前

Richard Smith · 从文本文件复制数据并将其插入URL

8 年前

gosatriani · 如何在python中将变量值传递给urllib

8 年前

Jorge Galán · 使用BeautifulSoup分析错误

8 年前