模型1
我正在读一本书
book
模型2
. 根据这本书,
书中讨论到这一点的skip-gram算法是
实际上是对原skip-gram算法的一种改进
在米科洛夫等人于2013年发表的原始论文中
本文提出的算法没有使用中间隐藏层来实现
两个不同的嵌入或投影层(输入和输出
图4.1)中的嵌入,并定义了从
嵌入本身:
好像在报纸上
skip-gram模型是模型1,而不是上面的原始模型2。
有一些人说softmax规范化计算向量相似性的讨论。例如,在
mbatchkarov's answer
,他对softmax计算给出了解释:
分子基本上是单词c(The)之间的相似性
上下文)和w(目标词)。分母计算
所有其他上下文的相似性c1和目标词w。
第二个问题:是不是“原版”的skip-gram模型2?
