代码之家 › 专栏 › 技术社区 › Phil

Python:避免嵌套for loop NLP版本;有lib支持吗?

nltk nlp python-3.x python

Phil · 技术社区 · 7 年前

QUERY          COUNT
"harry potter" 100
"iron man"     93
"harry pott"   32
"harr pott"    5

现在假设大多数用户使用完整单词进行搜索,我认为我可以通过以下方式有效地进行聚合(避免在整个索引上嵌套for循环):

我按字母顺序对查询中的令牌进行排序,并生成一个映射“first\u token”,如:

"h"         "harry potter"
"ha"        "harry potter"
"har"       "harry potter"
"harr"      "harry potter"
"harry"     "harry potter"

分别是“第二个令牌”等等。。。

"p"         "harry potter"
"po"        "harry potter"
"pot"       "harry potter"
"pott"      "harry potter"
"potte"     "harry potter"
"potter"    "harry potter"

现在我想知道是否有任何Python库可以让我更容易地实现所有这些。来自Java/JS的我还不太熟悉Python,我只知道它有很多用于NLP的工具。

NLTK里有什么能帮我的吗?我认为至少应该有一个工具来矢量化字符串。也许使用它,您可以将“start with”操作作为简单的查找而不必手动生成地图?

1 回复 | 直到 7 年前

rishi 7 年前

Autosuggest和许多其他特定于处理得很好 Lucene PyLucene

或者,如果你希望答案仅限于你所问问题的具体细节,可以试试 ngram Python的模块。细节 here

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前