1.word2vec介绍
2.word2vec负采样与层次化softmax原理
word2vec为减少计算量进行的优化：
1.将常见的单词组合（word pairs）或者词组作为单个“words”来处理。
2.对高频次单词进行抽样来减少训练样本的个数。
3.对优化目标采用“negative sampling”方法，这样每个训练样本的训练只会更新一小部分的模型权重，从而降低计算负担。
负采样：一个单词被选作negative sample的概率跟它出现的频
次有关，出现频次越高的单词越容易被选作negative words。
4.层次化softmax
参考：理解word2vec、负采样、层次化softmax
3.CNN中池化层的作用
1、特征不变性，空间不变性，池化操作使模型更加关注是否存在某些特征而不是特征具体的位置，可以看做是一种很强的先验，是特征学习包含某种程度自由度，能容忍一些特征微小的位移。
2、特征降维。类似于做了维度约减，使模型可以抽取更广泛围的特征，减小了下一层输入大小，进而减小计算量和参数个数。
3、在一定程度防止过拟合，更方便优化。
4.SGD与L1正则化同时用于训练逻辑回归可能出现的问题
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。