屏幕抓取:正则表达式还是XQuery表达式?

我在回答面试中的一些问答题,问题是我将如何做屏幕抓取。也就是说,从网页中挑选内容,假设您没有更好的结构化方式直接查询信息(例如web服务)。

我的解决办法是使用 函数 表示表达式相当长,因为我需要的内容在HTML层次结构中相当深。在我找到一个元素之前,我必须通过一种公平的方式搜索祖先 id 属性例如,在Amazon.com页面上搜索产品维度如下所示:

//a[@id="productDetails"]
/following-sibling::table
//h2[contains(child::text(), "Product Details")]
/following-sibling::div
//li
/b[contains(child::text(), "Product Dimensions:")]
/following-sibling::text()

这是一个非常糟糕的表达,但这就是为什么Amazon提供了web服务API。无论如何,这只是一个例子。问题不是关于亚马逊,而是关于屏幕抓取。

面试官不喜欢我的解决方案。他认为它很脆弱,因为亚马逊改变页面设计可能需要重写XQuery表达式。调试一个与它所应用的页面中的任何内容都不匹配的XQuery表达式是很困难的。

我并不反对他的说法,但我不认为他的解决方案有任何改进:他认为最好使用 正则表达式 ,并搜索装运重量附近的内容和标记。例如,使用Perl:

$html =~ m{<li>\s*<b>\s*Product Dimensions:\s*</b>\s*(.*?)</li>}s;

<LI> ),或添加CSS属性或更改 <b> 到 <span> 或者将标签“产品尺寸:”更改为“尺寸:”或许多其他类型的更改。我的观点是正则表达式不能解决他在我的XQuery解决方案中指出的缺点。

但除此之外,正则表达式可以发现误报,除非向表达式添加足够的上下文。它还可能无意中匹配恰好位于注释、属性字符串或CDATA节中的内容。

PS:为了论证起见,假设没有web服务API或其他更直接的方式来获取所需的内容。