|
|
1
17
所以我在NLP工作了很长时间,这是一个你想要解决的非常棘手的问题。你永远不可能实现一个100%准确的解决方案,所以你应该事先决定是做出错误的否定决定(找不到段落分割点)还是错误的肯定决定(插入虚假的分割点)。一旦你这样做了,汇编一个文档的语料库,并注释你期望找到的真正的分段点。 一旦你做到了这一点,你就需要一个机制来找到EOS(句子结束)点。然后,在每一对句子之间,你需要做出一个二元决定:是否应该在这里插入段落边界?
为了度量衔接,可以使用句子到句子的相似性度量(基于为每个句子提取的一些特征集合)。为了简单起见,如果两个相邻的句子的相似性度量为0.95,那么将它们合并到同一个段落中需要0.05的“成本”。文档分割计划的总成本是所有句子连接成本的总和。为了达到最终的细分,您需要选择总成本最低的计划。 当然,对于包含多个句子的文档,有太多不同的可能的分段排列,无法对其所有成本进行暴力评估。所以你需要一些启发来指导这个过程。动态规划在这里可能会有帮助。 至于实际的句子特征提取。。。好吧,这就是事情变得非常复杂的地方。
一个简单的实现可能只是计算每个单词的实例数,并将一个句子中的单词数与相邻句子中的单词数进行比较。如果一个重要的词(比如“Philadelphia”)出现在两个相邻的句子中,那么他们可能会得到很高的相似度。
例如,想象一个含有“绿色”这个词的句子。在我的特征提取过程中,我肯定会包括准确的词法值(“greenish”),但我也会应用一个词形转换,将单词规范化为其词根形式(“green”)。在一个更进一步的颜色分类法中,我发现它是一个颜色描述词。因此,基于这一个词,我可以在句子特征集合中添加四个不同的特征(“绿色”,“绿色”,“颜色”,“视觉”)。如果文件中的下一句话再次提到“绿色”,那么这两句话将非常相似。如果下一个句子用了“红色”这个词,那么它们仍然有一定程度的相似性,但程度要小一些。
|
|
|
2
1
我对此不太了解,所以这个答案只是一个更好的答案的存根。尽管如此,两点
|
|
|
3
0
对于这个示例,最好的方法是查找后面没有空格的句号! |