代码之家  ›  专栏  ›  技术社区  ›  Outcast

UnoDoDebug错误:“ASCII”编解码器不能解码位置118374中的字节0xEF:序数不在范围(128)

  •  1
  • Outcast  · 技术社区  · 8 年前

    我正在试验一些nlp算法,我现在专注于情绪分析。为此,我从 http://www.cs.jhu.edu/~mdredze/datasets/sentiment/index2.html 一些 .review 用正面和负面评论格式化文件。

    我正在使用 BeautifulSoup 为了解析这些XML文件,目前我只想通过执行以下源代码来读取它们:

    from bs4 import BeautifulSoup
    
    positive_reviews = BeautifulSoup(open('*******/electronics/positive.review').read())
    positive_reviews = positive_reviews.findAll('review_text')
    
    negative_reviews = BeautifulSoup(open('*******/electronics/negative.review').read())
    negative_reviews = negative_reviews.findAll('review_text')
    

    但是,我得到以下错误:

    UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 118374: ordinal not in range(128)
    

    什么时候

    positive_reviews = BeautifulSoup(open('*******/electronics/positive.review').read())
    

    将被处决。

    如何修复这个错误?

    我也换了

    BeautifulSoup(open('*******/electronics/positive.review').read())
    

    具有

    BeautifulSoup(open('*******/electronics/positive.review').read().decode('utf-8'))
    

    但我也犯了同样的错误。

    最后,我已经阅读了stackoverflow上的一些相关文章,但到目前为止,还没有什么对我有用的。例如,在我的终端 echo $LANG 输出 en_GB.UTF-8 正如第一个答案所描述的 UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 1 但我还是得到了上面的错误。

    1 回复  |  直到 8 年前
        1
  •  1
  •   kristaps    8 年前

    如果您使用的是python 3,请尝试替换

    open('*******/electronics/positive.review')
    

    具有

    open('*******/electronics/positive.review', encoding='utf-8')