命名实体识别大写问题

这个 xx_ent_wiki_sm 模型是在维基百科上训练的,所以它非常倾向于维基百科所考虑的内容和实体,以及数据中的常见内容。(由于第一人称的句子在维基百科上非常罕见,因此它也经常将“I”视为一个实体。)因此,用更多的例子进行后训练绝对是一个好策略,而且你试图做的事情听起来是可行的。

防止模型“忘记”大写实体的最佳方法是始终包括模型先前在训练数据中正确识别的实体的示例(请参阅: "catastrophic forgetting problem" ). 好的是,您可以通过在一堆文本上运行spaCy并提取大写实体,以编程方式创建这些实体:

uppercase_ents = [ent for ent in doc.ents if all(t.is_upper for t in ent)]

看见 this section 有关如何使用spaCy创建训练数据的更多示例。您还可以使用spaCy生成所选实体的小写和titlecase变体,以引导您的训练数据,这有望为您节省大量时间和工作。