如何使用Perl高效地提取HTML内容?

我用 pQuery 为我的网页抓取。但我也听说了一些好消息 Web::Scraper

这两个模块以及其他模块已出现在与您类似的问题的答案中:

• how can i screen scrape with perl
• how can i extract xml of a website and save in a file using perls lwp
• how do i extract an html title with perl
• can you provide an example of parsing html with your favorite parser
• how do I extract content from html file using perl

HTML::Extract 非常 基本的和无趣的。如果Draefun提到的模块对你不感兴趣,你可以做任何事情 使用 LWP::UserAgent HTML::TreeBuilder

我一直在用 Web::Scraper 为了我刮擦的需要。它确实非常适合提取数据,因为您可以调用 ->scrape($html, $originating_uri)

您需要实时执行此操作吗?效率低下对你有什么影响?您是否连续执行任务,以便在进入下一页之前必须提取一页?为什么要避免缓存?

你的爬虫能下载网页并把它们传递给其他东西吗?也许您的爬虫程序甚至可以并行运行,或者以某种分布式方式运行。