我正在试验一些nlp算法,我现在专注于情绪分析。为此,我从
http://www.cs.jhu.edu/~mdredze/datasets/sentiment/index2.html
一些
.review
用正面和负面评论格式化文件。
我正在使用
BeautifulSoup
为了解析这些XML文件,目前我只想通过执行以下源代码来读取它们:
from bs4 import BeautifulSoup
positive_reviews = BeautifulSoup(open('*******/electronics/positive.review').read())
positive_reviews = positive_reviews.findAll('review_text')
negative_reviews = BeautifulSoup(open('*******/electronics/negative.review').read())
negative_reviews = negative_reviews.findAll('review_text')
但是,我得到以下错误:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 118374: ordinal not in range(128)
什么时候
positive_reviews = BeautifulSoup(open('*******/electronics/positive.review').read())
将被处决。
如何修复这个错误?
我也换了
BeautifulSoup(open('*******/electronics/positive.review').read())
具有
BeautifulSoup(open('*******/electronics/positive.review').read().decode('utf-8'))
但我也犯了同样的错误。
最后,我已经阅读了stackoverflow上的一些相关文章,但到目前为止,还没有什么对我有用的。例如,在我的终端
echo $LANG
输出
en_GB.UTF-8
正如第一个答案所描述的
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 1
但我还是得到了上面的错误。