使用预先训练的单词嵌入-如何为未知/OOV标记创建向量?

你可以用多种方法处理。我不认为我能举出哪种方法更有效的参考文献。

:

3. 你可以指所有的嵌入向量,这样你就避免了脱离实际分布的风险。
4. 此外,嵌入通常带有在培训期间学习的“unk”向量,您可以使用该向量。

可培训选项 :

您可以为OOV声明一个单独的嵌入向量,并使其在保持其他嵌入固定的情况下可训练。为此,您可能必须重写嵌入查找的正向方法。你可以申报一个新的可培训课程 Variable 在前向传递中,使用这个向量作为OOV的嵌入,而不是进行查找。

针对OP的评论:

我不确定这三种不可培训的方法中哪一种可能更有效,我也不确定是否有相关的工作。但方法4)应该更有效。

对于trainable选项,您可以创建一个新的嵌入层,如下所示。

class Embeddings_new(torch.nn.Module): 
    def __init__(self, dim, vocab): 
        super().__init__() 
        self.embedding = torch.nn.Embedding(vocab, dim) 
        self.embedding.weight.requires_grad = False
        # vector for oov 
        self.oov = torch.nn.Parameter(data=torch.rand(1,dim)) 
        self.oov_index = -1 
        self.dim = dim 

    def forward(self, arr): 
        N = arr.shape[0] 
        mask =  (arr==self.oov_index).long() 
        mask_ = mask.unsqueeze(dim=1).float() 
        embed =(1-mask_)*self.embedding((1-mask)*arr) + mask_*(self.oov.expand((N,self.dim))) 
        return embed 

用法:

model = Embeddings_new(10,20000)    
out = model.forward(torch.tensor([-1,-1, 100, 1, 0]))
# dummy loss
loss = torch.sum(a**2)
loss.backward()