NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词
- 什么是Seq2Seq网络? 在Seq2Seq模型中采用了这种 Encoder-Decoder架构,其中 Encoder 是一个RNNCell(RNN ,GRU,LSTM 等) 结构,四层的LSTM结构使得能够提取足够多的特征,使得decode的模型变好
- 几种Seq2Seq模式
1.学霸模式
2.普通作弊
3.学弱作弊
普通作弊的基础上,回顾上一刻的答案
4.学渣作弊(attention机制)
上课的时候划重点
- 应用场景 只要是序列到序列都可以用
- attention机制是怎么引入的?
第一步
第二步:
第三步:
seqtoseq损失函数
损失函数为交叉熵损失函数,一般情况下,深度学习最后用softmax最为分类器一般都会选择用交叉熵损失函数