参考:https://blog.csdn.net/zhaojc1995/article/details/80572098
1,rnn在时间层面上会存在梯度消失,原因是由于sigmoid和tan的导数都小于一导致。即使使用relu,则可能会遇到梯度爆炸问题。且过大的步长会导致学死,因为一旦全部为0则无法翻过来。
sigmoid导数值范围为(0,0.25],反向传播时会导致“梯度消失“。tanh函数导数值范围【0,1】,相对好一点。
sigmoid函数不是0中心对称,tanh函数是,可以使网络收敛的更好。
2,LSTM比rnn多了一个输出,即使cell的长期状态。而rnn的状态可以认为是短期的状态。