06 Word2Vec模型(第一个专门做词向量的模型,CBOW和Skip-gram)


神经网络语言模型(NNLM)–》为了预测下一个词

NNLM()–》预测下一个词

神经网络+语言模型:用神经网络去解决和人说话有关的两个任务的一个东西

softmax(w2(tanh((w1x+b1)))+b2)

得到一个副产品(词向量)

Q 矩阵,对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量

  1. 可以转换维度
  2. 相似词之间的词向量之间也有了关系

猜你喜欢

转载自blog.csdn.net/linjie_830914/article/details/132173893