写一个可维护的web抓取应用程序的最佳方法是什么?

在Perl中,类似于 WWW::Mechanize 已经可以使您的脚本更加简单和健壮,因为它可以在以前的网站响应中找到HTML表单。您可以填写这些表单以准备新的请求。例如:

my $mech = WWW::Mechanize->new();
$mech->get($url);
$mech->submit_form(
    form_number => 1,
    fields      => { password => $password },
);
die unless ($mech->success);

结合 WWW::Mechanize 和 Web::Scraper 这两个工具使我的工作效率最高。有一篇关于这个组合的好文章 catalyzed.org

如果我给你一个建议,那就是 XPath 满足你所有的刮伤需要。避免正则表达式。

嗯,刚刚找到

Finance::Bank::Natwest

这是专为我的银行设计的Perl模块!没想到会这么简单。

许多银行以标准格式发布数据,这通常被个人金融软件包(如MS Money或Quicken)用于下载交易信息。您可以使用相同的API查找该钩子并下载,然后解析您端的数据(例如,使用 Spreadsheet::ParseExcel ,并使用 Finance::QIF )

编辑(回复评论):您是否考虑过联系您的银行,询问他们您如何以编程方式登录您的账户,以便下载财务数据?许多/大多数银行对此都有一个API(如上文所述,它加快了使用速度等)。

这里有一个最新的Ruby实现:

http://github.com/warm/NatWoogle

使用perl和web::scraper包: link text