出现问题
循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题,
很难建模
长时间间隔
(
Long Range
)
的状态之间的依赖关系
.在BPTT
算法中
,
将公式
(
6.36
)
展开得到
BPTT算法可参考这一篇博文
长程依赖问题
也称为
长期依赖问题
或
长距离依赖问题
.
改进方案
梯度爆炸
一般而言,
循环网络的梯度爆炸问题比较容易解决
,
一般通过
权重衰减
或
梯度截断
来避免.(
梯度截断是一种启发
式的解决梯度爆炸问
题的有效方法)