代码之家 › 专栏 › 技术社区 › Exzone

Python:加载的NLTK分类器不工作

naivebayes sentiment-analysis pickle nltk python

Exzone · 技术社区 · 10 年前

我正在尝试训练NLTK分类器进行情绪分析,然后使用pickle保存分类器。新训练的分类器工作良好。但是,如果我加载一个保存的分类器,该分类器将为所有示例输出“肯定”或“否定”。

我正在使用保存分类器

classifier = nltk.NaiveBayesClassifier.train(training_set)
classifier.classify(words_in_tweet)
f = open('classifier.pickle', 'wb')
pickle.dump(classifier, f)
f.close()

并使用

f = open('classifier.pickle', 'rb')
classifier = pickle.load(f)
f.close()
classifier.classify(words_in_tweet)

我没有收到任何错误。知道问题可能是什么,或者如何正确调试吗?

1 回复 | 直到 10 年前

alexis 10 年前

腌制分类器最有可能出错的地方是特征提取功能。这必须用于生成分类器使用的特征向量。

这个 NaiveBayesClassifier 期望用于训练和分类的特征向量;您的代码看起来像是将原始单词传递给了分类器(但可能只是在取消拾取之后,否则在取消拾取之前和之后不会得到不同的行为)。您应该将特征提取代码存储在单独的文件中,并且 import 它在训练和分类(或测试)脚本中都存在。

我怀疑这是否适用于OP,但一些NLTK分类器将特征提取函数作为构造函数的参数。当您有单独的脚本用于训练和分类时,要确保未挑选的分类器成功地找到相同的函数可能很困难。这是因为 pickle 工作原理:pickle只保存数据,不保存代码。要使其工作,只需将提取函数放在脚本导入的单独文件(模块)中。如果你把“main”脚本放进去, pickle.load 会在错误的地方寻找它。

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前