代码之家 › 专栏 › 技术社区 › lyanna

检测同词句子的语义相异性

doc2vec nlp

0

lyanna · 技术社区 · 1 年前

例如: 问题:美国的首都是什么? 预期答案:华盛顿特区是美国的首都。实际答案:美国是华盛顿特区的首都。

答案在词汇上相似,但由于主客体交换,它们在语义上不同。

我是NLP的新手,我读过一些关于Doc2Vec的文章,但提供的例子不够相似,我对此表示怀疑。请建议我应该尝试的方法和任何参考资料。

0 回复 | 直到 1 年前

1

0

gojomo 1 年前

相对浅&像word2vec&'这样的语序遗忘算法段落矢量(aka Doc2Vec 在许多实现中)不能区分这两个句子之间的语义差异。

你必须使用更深入的模型,这些模型对语法和语法有一定的理解;语序影响意义。

看看那些使用更深层次的递归网络来总结句子/段落的东西,比如BERT&相关/后续工作或与LLM相关的文本矢量器。

推荐文章

whs2k · Pyspark如何从word2vec word嵌入计算Doc2Vec?

7 年前

user8566323 · Gensim中doc2vec标记中的问题

7 年前

pankaj jha · 如何在doc2vec中找到文档中最相似的术语/单词?[副本]

7 年前

user8400385 · Gensim Doc2vec模型聚类到K均值

7 年前