代码之家  ›  专栏  ›  技术社区  ›  Thomas Decaux

带有Keras标记符的词干词

  •  1
  • Thomas Decaux  · 技术社区  · 8 年前

    使用Keras标记器( https://keras.io/preprocessing/text/#tokenizer

    • 小写字母
    • 同义词(u=>you等)
    • gooood=>好(不知道这个名字)

    (使用分析过滤器,elasticsearch/lucene的功能正是如此)。

    0 回复  |  直到 8 年前