代码之家 › 专栏 › 技术社区 › lyanna

检测同词句子的语义相异性

doc2vec nlp

0

lyanna · 技术社区 · 2 年前

例如: 问题:美国的首都是什么? 预期答案:华盛顿特区是美国的首都。实际答案:美国是华盛顿特区的首都。

答案在词汇上相似,但由于主客体交换,它们在语义上不同。

我是NLP的新手,我读过一些关于Doc2Vec的文章,但提供的例子不够相似,我对此表示怀疑。请建议我应该尝试的方法和任何参考资料。

0 回复 | 直到 2 年前

1

0

gojomo 2 年前

相对浅&像word2vec&'这样的语序遗忘算法段落矢量(aka Doc2Vec 在许多实现中)不能区分这两个句子之间的语义差异。

你必须使用更深入的模型,这些模型对语法和语法有一定的理解;语序影响意义。

看看那些使用更深层次的递归网络来总结句子/段落的东西,比如BERT&相关/后续工作或与LLM相关的文本矢量器。