PyTorch - 词嵌入

• 

  简述

  在本章中，我们将了解著名的词嵌入模型——word2vec。Word2vec 模型用于在一组相关模型的帮助下生成词嵌入。Word2vec 模型是用纯 C 代码实现的，梯度是手动计算的。

  PyTorch 中 word2vec 模型的实现在以下步骤中进行了解释 -
• 

  第1步

  在词嵌入中实现库，如下所述 -

  
  import torch
  from torch.autograd import Variable
  import torch.nn as nn
  import torch.nn.functional as F
  

• 

  第2步

  使用名为 word2vec 的类实现词嵌入的 Skip Gram 模型。这包括emb_size, emb_dimension, u_embedding, v_embedding 属性类型。

  
  class SkipGramModel(nn.Module):
     def __init__(self, emb_size, emb_dimension):
        super(SkipGramModel, self).__init__()
        self.emb_size = emb_size
        self.emb_dimension = emb_dimension
        self.u_embeddings = nn.Embedding(emb_size, emb_dimension, sparse=True)
        self.v_embeddings = nn.Embedding(emb_size, emb_dimension, sparse = True)
        self.init_emb()
     def init_emb(self):
        initrange = 0.5 / self.emb_dimension
        self.u_embeddings.weight.data.uniform_(-initrange, initrange)
        self.v_embeddings.weight.data.uniform_(-0, 0)
     def forward(self, pos_u, pos_v, neg_v):
        emb_u = self.u_embeddings(pos_u)
        emb_v = self.v_embeddings(pos_v)
        score = torch.mul(emb_u, emb_v).squeeze()
        score = torch.sum(score, dim = 1)
        score = F.logsigmoid(score)
        neg_emb_v = self.v_embeddings(neg_v)
        neg_score = torch.bmm(neg_emb_v, emb_u.unsqueeze(2)).squeeze()
        neg_score = F.logsigmoid(-1 * neg_score)
        return -1 * (torch.sum(score)+torch.sum(neg_score))
     def save_embedding(self, id2word, file_name, use_cuda):
        if use_cuda:
           embedding = self.u_embeddings.weight.cpu().data.numpy()
        else:
           embedding = self.u_embeddings.weight.data.numpy()
        fout = open(file_name, 'w')
        fout.write('%d %d\n' % (len(id2word), self.emb_dimension))
        for wid, w in id2word.items():
           e = embedding[wid]
           e = ' '.join(map(lambda x: str(x), e))
           fout.write('%s %s\n' % (w, e))
  def test():
     model = SkipGramModel(100, 100)
     id2word = dict()
     for i in range(100):
        id2word[i] = str(i)
     model.save_embedding(id2word)         
  

• 

  第 3 步

  实现 main 方法，使词嵌入模型以正确的方式显示。

  
  if __name__  ==  '__main__':
     test()