代码之家 › 专栏 › 技术社区 › fifigyuri

是否存在任何开放的、简单可扩展的网络爬虫?

nutch web-crawler web-scraping

7

fifigyuri · 技术社区 · 16 年前

我寻找一个网络爬虫解决方案,它可以足够成熟,可以简单地扩展。我对以下功能感兴趣…或扩展爬虫以满足它们的可能性:

以上这些事情可以一个接一个地完成,而不需要付出任何努力,但我对任何提供可定制、可扩展爬虫程序的解决方案都感兴趣。我听说过阿帕奇·纳奇,但到目前为止对这个项目还不确定。你有这方面的经验吗?你能推荐替代品吗?

4 回复 | 直到 13 年前

1

2

Joseph Salisbury 16 年前

快速搜索 GitHub 呕吐 Anemone 这是一个Web蜘蛛框架,它似乎符合您的需求——尤其是可扩展性。用红宝石写的。
希望一切顺利!

2

4

kkrugler 16 年前

当我为克鲁格的初创公司构建开源项目索引时,我已经广泛使用了nutch。很难定制,这是一个相当单一的设计。有一个插件架构,但是插件和系统之间的交互是复杂和脆弱的。

由于这种经验,并且需要更灵活的东西,我开始了Bixo项目——一个Web挖掘工具包。 http://openbixo.org .

是否适合你取决于以下因素的权重:

3

2

Vinko Vrsalovic 16 年前

我衷心推荐 heritrix . 它非常灵活,我认为它是最经过战斗测试的免费开放源码爬虫,因为它是互联网档案馆使用的。

4

2

Kane 16 年前

你应该能找到符合你需要的东西 here .