使用Google应用引擎进行网页抓取

googleappengine提供了比你需要的更多的功能(和复杂性),如果你真的只想把一些结构化数据重新发布为RSS的话。 就我个人而言,我会用 Yahoo pipes 像这样的任务。

话说回来。。。如果你想/需要用GAE弄湿你的脚,那就去吧!

Getting Started guide . 它的简短和简单,涉及基本的GAE主题。有更多的优点和缺点,我将在这里列出。

赞成的意见:
通常,appengine是为需要扩展的高流量web应用程序而设计的。此外,它是从程序员的角度设计的。许多可伸缩性问题(数据库优化、服务器管理等)都是由Google处理的。话说回来,我觉得这是一个很好的平台。谷歌的工程师们仍在积极开发它,而任务调度(这是一项长期以来一直被要求的功能)也在当前的路线图中。

欺骗:
package Django 1.0 with your application ).

比其他大多数技术都难。

某种程度上

我想 BeautifulSoup 可以在GAE上运行,所以你所有的刮伤需求都得到了处理:D 另外,GAE还有一个geturl。我认为您可能遇到的唯一问题是没有足够的时间获取数据(限制为30秒)。

我正在从事同一个项目,我决定在另一台服务器上准备数据并将它们推送到GAE更容易。

你可能还想调查一下 Yahoo! Query Language