代码之家  ›  专栏  ›  技术社区  ›  r1d1

如何从gensim word2vec中提取矩阵WI和WO?

  •  3
  • r1d1  · 技术社区  · 8 年前

    CBOW word2vec方案如下:

    enter image description here

    如何从中提取矩阵WI和WO gensim.models.word2vec.Word2Vec ? 我在gensim w2v型号中只找到这些字段:

    gensim.models.word2vec.Word2Vec.trainables.syn1neg

    和

    gensim.models.word2vec.Word2Vec.vw.syn1neg.vectors

    我能假设一下吗 syn1neg 是WI,和WO= vectors - 合成负离子 ?

    为什么要这么做

    sentences = [['car', 'tree', 'chip2'], ['chip1', 'sugar']]
    model = Word2Vec(sentences, min_count=1, size = 5)
    

    给 Word2Vec.trainables.syn1neg 只有零元素的矩阵?

    对于30MB数据集 Word2Vec.trainables.syn1neg 矩阵也只包含零元素,日志如下:

    gensim log

    1 回复  |  直到 8 年前
        1
  •  1
  •   gojomo    8 年前

    这个 w2v_model.wv.vectors 是以前所称的“syn0”,用作“投影权重”,基本上将一个热门单词编码映射到 N个 尺寸。在你的图表中 威斯康辛州 .

    这个 w2v_model.trainables.syn1neg 是否隐藏以输出负采样模式的权重 世界 .