joblib转储上的MemoryError

我运行了以下代码片段来训练文本分类模型。我对它进行了大量的优化,运行非常平稳,但仍然使用了大量RAM。我们的数据集是巨大的(1300万个文档+词汇表中的1800万个单词),但在我看来,执行点抛出错误是非常奇怪的。脚本:

encoder = LabelEncoder()
y = encoder.fit_transform(categories)
classes = list(range(0, len(encoder.classes_)))

vectorizer = CountVectorizer(vocabulary=vocabulary,
                             binary=True,
                             dtype=numpy.int8)

classifier = SGDClassifier(loss='modified_huber',
                           n_jobs=-1,
                           average=True,
                           random_state=1)

tokenpath = modelpath.joinpath("tokens")
for i in range(0, len(batches)):
    token_matrix = joblib.load(
        tokenpath.joinpath("{}.pickle".format(i)))
    batchsize = len(token_matrix)
    classifier.partial_fit(
        vectorizer.transform(token_matrix),
        y[i * batchsize:(i + 1) * batchsize],
        classes=classes
    )

joblib.dump(classifier, modelpath.joinpath('classifier.pickle'))
joblib.dump(vectorizer, modelpath.joinpath('vectorizer.pickle'))
joblib.dump(encoder, modelpath.joinpath('category_encoder.pickle'))
joblib.dump(options, modelpath.joinpath('extraction_options.pickle'))

我在这行找到了记忆错误:

joblib.dump(vectorizer, modelpath.joinpath('vectorizer.pickle'))

在执行的这一点上,训练完成,分类器已经转储。它应该由垃圾收集器收集,以防需要更多内存。除此之外,如果joblib的内存不是 compressing the data 。

我对python垃圾收集器的内部工作原理没有深入的了解。我应该强制gc吗。collect()或使用“del”语句释放不再需要的对象?

更新时间:

我尝试过使用HashingVectorier,尽管它大大减少了内存使用量,但矢量化速度要慢得多,因此它不是一个很好的替代方法。

我必须对矢量器进行pickle处理,以便稍后在分类过程中使用它,以便生成提交给分类器的稀疏矩阵。我将在此处发布我的分类代码:

extracted_features = joblib.Parallel(n_jobs=-1)(
    joblib.delayed(features.extractor) (d, extraction_options) for d in documents)

probabilities = classifier.predict_proba(
    vectorizer.transform(extracted_features))

predictions = category_encoder.inverse_transform(
    probabilities.argmax(axis=1))

trust = probabilities.max(axis=1)