目录:
1、RNN
2、GRU
3、LSTM
一、RNN
1、RNN结构图如下所示:
其中:
$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$
$h^{t} = f(a^{t})$, f 是激励函数,sigmoid或者tanh
$\hat{y}^{t} = Uh^{t}$
2、RNN中的梯度消失与梯度膨胀
二、GRU
三、LSTM
目录:
1、RNN
2、GRU
3、LSTM
一、RNN
1、RNN结构图如下所示:
其中:
$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$
$h^{t} = f(a^{t})$, f 是激励函数,sigmoid或者tanh
$\hat{y}^{t} = Uh^{t}$
2、RNN中的梯度消失与梯度膨胀
二、GRU
三、LSTM