1. 长短期记忆网络 LSTM
2. 长短期记忆网络 LSTM 代码实现
3. 深层循环神经网络 Deep RNN
4. 深层循环神经网络 Deep RNN 代码实现
5. 双向循环神经网络 Bidirection RNN
双向RNN 不能用于 推理。双向RNN 做特征提取,完形填空,翻译。
6. 双向循环神经网络 Bidirection RNN 代码实现
7. Q&A
-
- NLP挺好找工作的,因为文本比图片工作的数量比较多。比如,抽取财报的关键信息。
-
- 深层RNN,每层都需要一个初始hidden state.
-
- 双向RNN,反向的初始hidden state 是0.
-
- 双向RNN,正向和反向之间没有权重关系。正向和反向的权重w是不一样的。也可以深层双向RNN。
参考
https://www.bilibili.com/video/BV1JU4y1H7PC?p=1