这节课主要讲了3个问题
1梯度消失
原因:几个很小的数相乘会得到一个趋近于0的数。
2梯度爆炸
原因:几个很大的数相乘会的到一个非常大的数,从而造成NaN(数据溢出的问题)
3经典RNN的缺点
原因:如果RNN神经网络的层数很深,通过反向传播法,信息很难从最后面传到前面。(这个和梯度爆炸和梯度消失有关系)
所以有一些科研人员设计了新的神经元,很好的解决了这个问题。
这节课主要讲了3个问题
1梯度消失
原因:几个很小的数相乘会得到一个趋近于0的数。
2梯度爆炸
原因:几个很大的数相乘会的到一个非常大的数,从而造成NaN(数据溢出的问题)
3经典RNN的缺点
原因:如果RNN神经网络的层数很深,通过反向传播法,信息很难从最后面传到前面。(这个和梯度爆炸和梯度消失有关系)
所以有一些科研人员设计了新的神经元,很好的解决了这个问题。