RNN系数矩阵维度之间的关系

我们知道RNN有三个系数矩阵需要训练,经常会被这些矩阵的维度搞晕。下面举一个简单的例子让大家记住各个矩阵维度之间的关系。 

输入:x_{t}\in R^{8000}

输出:o_{t}\in R^{8000}

隐层(记忆):s_{t}\in R^{100}

U\in R^{100*8000}

V\in R^{8000*100}

W\in R^{100*100}

其中,s_{t} = f(Ux_{t}+Ws_{t-1})o_{t} = g(Vs_{t})

猜你喜欢

转载自blog.csdn.net/lz_peter/article/details/87832999