代码之家  ›  专栏  ›  技术社区  ›  user193116

如何使用NLP将非结构化文本内容分成不同的段落?

  •  10
  • user193116  · 技术社区  · 16 年前

    分类器在这种情况下不起作用。我还尝试使用Jaccard相似性分析器来查找连续句子之间的距离,并尝试将连续句子组合成一个段落,如果它们之间的距离小于给定值。有更好的方法吗?

    Sylvester Gardenzio Stallone,绰号Sly Stallone,美国演员、电影制片人和编剧。史泰龙以其男子气概和好莱坞动作片而闻名。史泰龙的电影《洛奇》被列入国家电影登记册,电影道具也被安置在史密森尼博物馆。史泰龙在《洛基系列》中使用了费城艺术博物馆的前门,这一地区因此被昵称为“岩石台阶”。费城是一个商业、教育和文化中心,曾经是大英帝国第二大城市(仅次于伦敦),也是最初13个美洲殖民地的社会和地理中心。它是美国早期历史的中心,承载了许多催生美国革命的思想和行动独立性美国革命是18世纪后半叶的政治动乱,北美十三个殖民地联合起来脱离大英帝国,联合起来成为美利坚合众国。他们首先拒绝了英国议会在没有代表的情况下从海外管理他们的权力,然后驱逐了所有的王室官员。到1774年,每个殖民地都成立了一个省议会,或一个同等的政府机构,以组成独立的自治国家。

    3 回复  |  直到 12 年前
        1
  •  17
  •   benjismith    16 年前

    所以我在NLP工作了很长时间,这是一个你想要解决的非常棘手的问题。你永远不可能实现一个100%准确的解决方案,所以你应该事先决定是做出错误的否定决定(找不到段落分割点)还是错误的肯定决定(插入虚假的分割点)。一旦你这样做了,汇编一个文档的语料库,并注释你期望找到的真正的分段点。

    一旦你做到了这一点,你就需要一个机制来找到EOS(句子结束)点。然后,在每一对句子之间,你需要做出一个二元决定:是否应该在这里插入段落边界?

    ABCDE   ABCD|E   ABC|DE   ABC|D|E   AB|CDE   AB|CD|E   AB|C|DE   AB|C|D|E
    A|BCDE  A|BCD|E  A|BC|DE  A|BC|D|E  A|B|CDE  A|B|CD|E  A|B|C|DE  A|B|C|D|E
    

    为了度量衔接,可以使用句子到句子的相似性度量(基于为每个句子提取的一些特征集合)。为了简单起见,如果两个相邻的句子的相似性度量为0.95,那么将它们合并到同一个段落中需要0.05的“成本”。文档分割计划的总成本是所有句子连接成本的总和。为了达到最终的细分,您需要选择总成本最低的计划。

    当然,对于包含多个句子的文档,有太多不同的可能的分段排列,无法对其所有成本进行暴力评估。所以你需要一些启发来指导这个过程。动态规划在这里可能会有帮助。

    至于实际的句子特征提取。。。好吧,这就是事情变得非常复杂的地方。

    一个简单的实现可能只是计算每个单词的实例数,并将一个句子中的单词数与相邻句子中的单词数进行比较。如果一个重要的词(比如“Philadelphia”)出现在两个相邻的句子中,那么他们可能会得到很高的相似度。

    例如,想象一个含有“绿色”这个词的句子。在我的特征提取过程中,我肯定会包括准确的词法值(“greenish”),但我也会应用一个词形转换,将单词规范化为其词根形式(“green”)。在一个更进一步的颜色分类法中,我发现它是一个颜色描述词。因此,基于这一个词,我可以在句子特征集合中添加四个不同的特征(“绿色”,“绿色”,“颜色”,“视觉”)。如果文件中的下一句话再次提到“绿色”,那么这两句话将非常相似。如果下一个句子用了“红色”这个词,那么它们仍然有一定程度的相似性,但程度要小一些。

        2
  •  1
  •   John with waffle    16 年前

    我对此不太了解,所以这个答案只是一个更好的答案的存根。尽管如此,两点

    1. 这个问题的一个名称是主题识别,并且 http://research.microsoft.com/en-us/um/people/cyl/download/papers/thesis97.pdf 是这方面经常被引用的论文。
    2. 这可能很难。如果你不告诉我,我就不会把费城和美国革命分开。
        3
  •  0
  •   Tommy Herbert    16 年前

    对于这个示例,最好的方法是查找后面没有空格的句号!

    推荐文章