递归神经网络逻辑图
在中间的隐藏层我们做了一些变换,在隐藏层中添加了信息保留操作。
如上图可以看,RNN网络结构就像这样。x1输入到A,同时上层结果留下来的A也输入到后面,这样就可以把上层得到的结果作为下层的输入,这就叫循环神经网络。
首先,每一步都有一个xt,xt表示第t=1,2,3........步(step)的输入
st为隐藏层的第t步状态,它是网络的记忆单元。
扫描二维码关注公众号,回复:
2622042 查看本文章
V是一个全连接的操作,
ot是第t步的输出,如下个单词的向量表示softmax(Vst)。