代码之家  ›  专栏  ›  技术社区  ›  Charles Stewart

HTML内容提取的最新技术是什么?

  •  17
  • Charles Stewart  · 技术社区  · 16 年前

    Extracting Content from Accessible Web Pages ,以及一些感兴趣的迹象,例如。, one , two three ,但我不太清楚后者的实践在多大程度上反映了前者的思想。最佳做法是什么?

    指向好的(特别是开源)实现的指针和对实现的良好学术调查将是我正在寻找的东西。

    附言第一篇 :准确地说,我要做的调查是一篇论文(已发表、未发表,随便什么),它讨论了学术文献中的标准和一些现有的实现,并从标准的角度分析了实现的不成功程度。而且,真的,一个邮件列表的帖子对我也很有用。

    附言二

    8 回复  |  直到 9 年前
        1
  •  18
  •   Peter Rowell    16 年前

    提取对不同的人意味着不同的事情。能够处理所有被破坏的HTML是一回事,而BeautifulSoup显然是这个部门的赢家。但是BS不会告诉你什么是粗食什么是肉。

    从计算语言学家的角度考虑内容提取时,情况看起来不同(而且丑陋)。分析页面时,我只对 具体内容 减去所有的导航/广告等内容。而且你不能开始做有趣的事情——共现分析、短语发现、加权属性向量生成等等——直到你摆脱了这些积垢。

    OP引用的第一篇论文表明,这就是他们试图实现的目标——分析一个站点,确定整体结构,然后减去它,瞧!你只有肉,但他们发现肉比他们想象的要硬。他们是从改进的可访问性角度来解决这个问题的,而我是一个早期搜索egine的人,但我们都得出了相同的结论:

    把肉和肉分开很难。 极其 很难确定文章的“作者意图”。从像citeseer这样的网站获取肉类(cleanly&可以预见的是,它具有非常高的信噪比 2或3个数量级 比处理随机的web内容更容易。

    Marti Hearst (现为加州大学伯克利分校教授)。她 PhD thesis 其他关于在大型文档中进行子主题发现的论文让我对在小型文档中进行类似操作有了很多见解(令人惊讶的是,这可能更难处理)。但你只有在摆脱了积垢之后才能这样做。


    对于少数可能感兴趣的人,这里有一些背景故事(可能是离题的,但我今晚有这种心情):

    在80年代和90年代,我们的客户大多是政府机构,他们的眼睛比预算还要大,他们的梦想使迪斯尼乐园看起来单调乏味。他们收集了所有他们能得到的东西,然后寻找一种银弹技术,以某种方式( )提取文档的“含义”。正确的。他们找到我们是因为我们是一家奇怪的小公司,在1986年做“内容相似性搜索”。我们给了他们一些演示(真实的,不是伪造的),这让他们很害怕。

    杂志文章怎么样?哦,上帝,别让我开始!标题几乎总是毫无意义的,而且结构因杂志的不同而不同,甚至因杂志的不同部分而不同。买一份《连线》和《大西洋月刊》。看一篇重要的文章,试着找出答案 意味深长 1段文章内容的摘要。现在试着描述一个程序如何完成同样的事情。同一套规则是否适用于所有文章?甚至是同一本杂志的文章?不,他们没有。

    真难 .

    奇怪的是,谷歌之所以如此成功(从搜索引擎的角度来看)的一个重要原因是,他们对链接中及其周围的单词给予了很大的重视 从另一个站点 . 该链接文本表示一种小型摘要 它链接到的站点/页面的名称,这正是您搜索时所需的内容。它几乎适用于所有类型/版面风格的信息。这是一个非常聪明的见解,我希望我自己也有。但这对我的客户没有任何好处,因为 从昨晚的莫斯科电视节目表到他们捕获的一些随机电传信息,或是埃及报纸的一些OCR版本。

    /迷你咆哮和记忆之旅

        2
  •  14
  •   Christian Kohlschütter    14 年前

    对于新闻领域,在一个具有代表性的语料库中,我们现在的提取准确率为98%/99%(平均/中位数)

    而且语言也相当独立(今天,我知道它也适用于尼泊尔语)。

        3
  •  6
  •   hippietrail    15 年前

    你看到了吗 boilerpipe ? 在一个类似的问题中发现了它。

        4
  •  5
  •   Lizard    15 年前

    http://www.keyvan.net/2010/08/php-readability/

    去年我移植了ARC90的可读性 在“五个过滤器”项目中使用。 现在已经一年多了 可读性有了很大提高 这支队伍在Arc90。

    作为全文更新的一部分 RSS服务我开始移植更多的

    对于任何不熟悉的人,可读性 已创建以用作浏览器加载项 (小书签)。一键 并去除杂物。 最近将其纳入Safari

    它的内容也非常方便 提取,这就是为什么我想 首先将其移植到PHP。

        5
  •  3
  •   James    15 年前

    有一些开源工具可以执行类似的文章提取任务。 https://github.com/jiminoc/goose 这是Gravity.com的开源软件

    它包含wiki上的信息以及您可以查看的源。有几十个单元测试显示从各种文章中提取的文本。

        6
  •  2
  •   Jonathan Hujsak    15 年前

    目前,我专注于从“消防水枪”资源(如谷歌)中提取知识,包括他们的RSS管道,这些管道可以收集大量本地、地区、国家和国际新闻文章。在许多情况下,标题是丰富和有意义的,但只是用来吸引网站流量的“钩子”,而实际的文章是一个毫无意义的段落。这似乎是一种“反向垃圾邮件”,旨在提高流量评级。

    回首过去几年,关于这种提取的低级机制(即你提到的“前者的实践”)的学术论文似乎很少,可能是因为它是如此领域和内容特定。

        7
  •  1
  •   Marcelo Cantos    16 年前

    Beautiful Soup 是一个用Python编写的健壮的HTML解析器。

    它优雅地处理带有错误标记的HTML,并且作为一个Python库进行了良好的设计,支持用于迭代和搜索的生成器,支持用于子访问(例如访问)的点表示法 <foo><bar/></foo>' using doc.foo.bar`)和无缝unicode。

        8
  •  0
  •   achristi    15 年前

    如果要从大量使用javascript的页面中提取内容, selenium remote control

    推荐文章