优秀的Spider和Indexer语言

提要(RSS?)通常结构良好(至少与常规网页相比)。退房 Web Harvest

我认为Ruby适合任何此类任务:

• http://rubyrss.com/
• http://www.ruby-doc.org/stdlib/libdoc/rss/rdoc/index.html
• http://railscasts.com/episodes/173-screen-scraping-with-scrapi

如果您对Ruby感到满意,我认为没有理由使用Java、Python等。对于大多数任务。请记住,许多Ruby库都位于本机实现上。

我对Java不是很熟悉,但我可以说Python非常适合这项工作。

有一个非常快速的XML解析器模块,叫做BeautifulStoneSoup,您可以使用它。它是美丽的乌苏图书馆的一部分。如果您只想寻找一个简单的索引器,Python有一个内置的sqlite引擎,它也是轻量级的,速度非常快。