代码之家 › 专栏 › 技术社区 › r1d1

在gensim图书馆的训练中,Skip gram word2vec和CBOW w2v有什么区别?

word2vec gensim nlp machine-learning python

r1d1 · 技术社区 · 6 年前

对于Skip gram word2vec,获得如下训练样本:

Sentence: The fox was running across the maple forest

这个词 fox

fox-run, fox-across, fox-maple, fox-forest

等等,每一个字。CBOW w2v使用反向进近:

run-fox, across-fox, maple-fox, forest-fox

或为 forest 文字:

fox-forest, run-forest, across-forest, maple-forest

所以我们得到了所有的一对。使用gensim库进行训练时,如果在CBOW模式下训练时不指定目标词,Skip gram word2vec和CBOW w2v之间有什么区别?在这两种情况下,是否使用所有成对的单词?

1 回复 | 直到 6 年前

gojomo 6 年前

只有skip-gram使用了形式的训练对 (context_word)->(target_word)

在CBOW中,培训示例如下 (average_of_multiple_context_words)->(target_word) . 因此,当来自单个训练示例的错误被反向传播时,多个上下文单词会得到相同的纠正微调。

推荐文章

thenightmarechild92 · 使用正则表达式拆分具有唯一标题的子节

10 月前

lucasa.lisboa · 无法从“huggingface_hub”导入名称“split_torch_state_dict_into_shards”

10 月前

Zoltan Hernyak · C#中的英文文本标记化不是python是可能的吗?

1 年前

Toothpick Anemone · 字母“i”本身的正则表达式是什么?

1 年前

me0076 · 使用LLM提取多个实体

1 年前

Franck Dernoncourt · 当测试字符串100%包含查询字符串时,为什么fuzzywuzzy的process.extractBests不能给出100%的分数?

1 年前

jstark523 · 试图为我的应用程序找出最佳LLM选项

1 年前

lyanna · 检测同词句子的语义相异性

1 年前

Yash Babel · Microsoft Copilot-与Excel集成

1 年前

chetan sharma · 从每一行和a)、b)、c)、d)中删除,列类型为pandas.core.series。系列

1 年前