【深度学习】cs224n 自然语言处理(1)
传统NLP(2012年以前)
未加入神经网络,在传统NLP里,我们把words看作是离散的符号,这样在英语中基本有无限多的词语,也就代表每一个向量是无限大的;
Word2vec algorithm(word vector)
想法来源:
- 拥有了一大堆文本;
- 每一个单词在一个固定的词汇表里都可以用一个向量表示;
- 用大量的迭代算法,遍历文本中的每一个位置,通过不断的迭代,‘理解’某个单词的含义;
- 会用两个向量来表达一个单词,一个向量是当这个单词是中间位的时候,另一个向量是当这个单词为上下文位置时(就是不是需要中心预测的);
橙色部分的点积和向量空间代表词之间的相似性度量;
uo:o is a context word
vc:c is a center word
整个流程:
- Word Senses: