代码之家 › 专栏 › 技术社区 › Dim

空间的自定义标准化

spacy nlp

Dim · 技术社区 · 8 年前

我在用 en_core_web_sm 我已经调整了标记器,现在它会根据需要生成标记。

对于我们的语料库来说,对数据进行处理是非常重要的 end of line

我看到有一个 norm_exceptions.py 文件中的所有异常。但我不知道怎么强迫自己 Language

如何使用自定义norm\u异常?

1 回复 | 直到 8 年前

Dim 7 年前

回答我自己的问题。最后,我编写了一个自定义标记器,确保所有/n字符都是独立的标记。空间也一样。

推荐文章

Krish Joshi · 在Spacy中使用NER的Resume Parser:训练数据具有重叠的实体开始和结束索引。有变通办法吗?

3 年前

jlrl · 如何将自定义本地标记化器函数导入SpaCy配置文件

3 年前

Mateus Melo · ChatterBot在spaCy中加载“en”模型时出错:OSError[E941]

3 年前

Kaiser · Space用于命名实体识别(NER)的损失函数是什么

3 年前

Hadi Monzer · 代币中的“i”是什么。i+1`是指使用spacy语言返回的标记时?

4 年前

Sai Prasanna · 如何在没有文档上下文的情况下定义空间文本?

8 年前

Lau Kumra · 如何为货币重新训练现有spacy-NER模型

8 年前

Abhishek Ram · 如何在Spacy中添加其他货币字符

8 年前

max · 我怎样才能得到作为某个动词宾语的名词从句?

8 年前

Thoc theodox · Spacy培训多线程CPU使用率

8 年前