代码之家 › 专栏 › 技术社区 › Kay

ColumnDataClassifier的最大类数

text-classification stanford-nlp classification

0

Kay · 技术社区 · 8 年前

在使用ColumnDataClassifier时,我可以拥有的最大类数是否有限制?我有大约个地址要分配给10k ORG,但我一直遇到内存问题,甚至在我将-xmx数字设置为最大值之后。

1 回复 | 直到 8 年前

1

0

StanfordNLPHelp 8 年前

标签集的大小没有明确的限制,但10k是一个非常大的集,我并不奇怪您会出现内存问题。您应该尝试使用更小的标签集(大约100个标签)进行一些实验,看看您的问题是否得到解决。我不知道有多少标签能起实际作用,但我怀疑它接近10000个。我会尝试更小的集合,只是为了了解在标签集大小增长时内存使用量是如何增长的。

您可能必须具有标签和不同分类器的层次结构。你可以想象第一个标签是“加利福尼亚组织”,然后有第二个分类器来选择各种加利福尼亚组织,等等。。。