如何检查rss提要中文章的唯一性(不重复)

一些RSS提要有一个guid元素作为标识符。具有共享guid的文章可能是重复的。一些RSS提要只是将URL塞进其中,以表明一篇文章的唯一性与其URL有关。请注意,如果URL匹配但Guid不匹配,这可能表示文章不是重复的。如果提要不维护存档,则url可能不会更改。这种情况可能相当罕见。

URL将是一个好的开始。当人们做出改变时,会有不同的版本。这将取决于实施细节。

如果在提要的item元素中使用了pubDate,那么使用它作为版本可能会很有用。

参考: http://cyber.law.harvard.edu/rss/rss.html#sampleFiles

看看googlenews使用的聚类算法。虽然你的要求不是很高,但它们和谷歌新闻的功能有着模糊的联系——它们将来自不同来源的关于同一事件的报道集中到一个组中。他们使用高级算法结合自然语言处理。但是你可以从在标题和url中映射关键字开始。