用于搜索查询更正的英语词典

我正在通过实现“中描述的方法为搜索引擎查询构建拼写更正器。” Spelling correction as an iterative process that exploits the collective knowledge of web users “。

高级方法如下:对于一个给定的查询,找出每个unigram和bigram可能的校正候选(查询日志中某个编辑距离内的单词),然后执行修改后的viterbi搜索,找到给定bigram频率的最可能的候选序列。重复这个过程,直到序列的概率达到最大。

对viterbi搜索的修改是这样的:如果在可信词典中同时找到两个相邻单词,那么最多只能更正一个。这对于避免将拼写正确的单字查询更正为更高频率的单词尤为重要。

我的问题是在哪里能找到这样的词典。它应该是英文的,包含可能出现在搜索查询中的专有名词(名字/姓氏、地点、品牌名称等)以及常见和不常见的英文单词。即使是朝着正确的方向推动也是有用的。

此外,如果有人阅读本文,并对本文提供的方法有任何改进建议,我也愿意接受这些建议,因为这是我第一次进入NLP。