如何高效地实现文档相似性搜索系统?

有些问题,

• ArticleTag和Tag有何不同?还是M2M映射表?
• 你能描述一下你是如何实现余弦匹配算法的吗?
• 为什么不将文档标记存储在内存中的某种数据结构中,只用于检索文档ID?这样,您只能在检索时访问数据库。
• 根据文档添加的频率,此结构可以设计为快速/慢速更新。

对答案的最初直觉——我想说,是一个在线聚类算法(也许对共现矩阵进行主成分分析,这将近似于K均值聚类?)。一旦你回答了上面的一些问题,你就会变得更加精练。

干杯

你可以用 Lemur 工具箱。带着它的 KeyfileIncIndex ,您必须从其来源重新检索文档;这个 IndriIndex 支持从索引中检索文档。

但不管怎样,您需要为文档编制索引,然后从要查找类似文档的文档中构建一个查询。然后,您可以使用该查询进行搜索,它将为其他文档的相似性评分。根据我的经验,这很快。它将源文档和基本查询都视为文档,所以查找相似性才是它真正要做的(除非你使用的是Indri解析器的东西——这有点不同,我不确定它是如何工作的)。