代码之家 › 专栏 › 技术社区 › bjornasm

使用urllib读取url时出现编码错误

urllib python

bjornasm · 技术社区 · 9 年前

当我试图使用urllib在一个维基百科网站的URL中添加特殊字符时。请求和Python,我得到以下错误 UnicodeEncodeError: 'ascii' codec can't encode character '\xf8' in position 23: ordinal not in range(128)

代码:

# -*- coding: utf-8 -*-
import urllib.request as ur

url = "https://no.wikipedia.org/wiki/Jonas_Gahr_StÃ¸re"
r = ur.urlopen(url).read()

我如何使用urllib。使用utf-8编码的请求?

4 回复 | 直到 9 年前

mousetail 9 年前

显然,urllib只能处理ASCII请求,将url转换为ASCII会在特殊字符上出错。用%C3%B8替换,这是在http中对这个特殊字符进行编码的正确方法,似乎可以解决这个问题。然而,我找不到像您的浏览器那样自动执行此操作的方法。

例子:

>>> f="https://no.wikipedia.org/wiki/Jonas_Gahr_St%C3%B8re"
>>> import urllib.request
>>> g=urllib.request.urlopen(f)
>>> text=g.read()
>>> text[:100]
b'<!DOCTYPE html>\n<html class="client-nojs" lang="nb" dir="ltr">\n<head>\n<meta charset="UTF-8"/>\n<title'

上面的答案不起作用,因为他是在处理请求后进行编码的,而您在处理请求时会遇到错误。

Yohan D 9 年前

如果可以选择使用库,我建议 requests

# -*- coding: utf-8 -*-
import requests
r = requests.get('https://no.wikipedia.org/wiki/Jonas_Gahr_StÃ¸re')
print(r.text)

Daniel Lee 9 年前

新计划-使用请求

from bs4 import BeautifulSoup
import requests

def scrape():
    url = "http://no.wikipedia.org/wiki/Jonas_Gahr_StÃ¸re"
    r = requests.get(url).content
    soup = BeautifulSoup(r).encode('utf-8')

    print soup

    print r

if __name__ == '__main__':
    scrape()

-2

Community Mohan Dere 9 年前

使用 answer from @mousetail 我为我需要的字符编写了一个自定义编码器:

def properEncode(url):
  url = url.replace("Ã¸", "%C3%B8")
  url = url.replace("Ã¥", "%C3%A5")
  url = url.replace("Ã¦", "%C3%A6")
  url = url.replace("Ã", "%C3%98")
  url = url.replace("Ã", "%C3%A5")
  url = url.replace("Ã", "%C3%85")
  return url

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前