代码之家  ›  专栏  ›  技术社区  ›  Kay

ColumnDataClassifier的最大类数

  •  0
  • Kay  · 技术社区  · 8 年前

    在使用ColumnDataClassifier时,我可以拥有的最大类数是否有限制?我有大约个地址要分配给10k ORG,但我一直遇到内存问题,甚至在我将-xmx数字设置为最大值之后。

    1 回复  |  直到 8 年前
        1
  •  0
  •   StanfordNLPHelp    8 年前

    标签集的大小没有明确的限制,但10k是一个非常大的集,我并不奇怪您会出现内存问题。您应该尝试使用更小的标签集(大约100个标签)进行一些实验,看看您的问题是否得到解决。我不知道有多少标签能起实际作用,但我怀疑它接近10000个。我会尝试更小的集合,只是为了了解在标签集大小增长时内存使用量是如何增长的。

    您可能必须具有标签和不同分类器的层次结构。你可以想象第一个标签是“加利福尼亚组织”,然后有第二个分类器来选择各种加利福尼亚组织,等等。。。