目的

  这个博客简要分享下RNN神经网络的python3写法。同时欢迎大家指出代码中潜在问题，一起学习与讨论~
  直接上代码：https://github.com/Site1997/RNN-implementation

个人repo：RNN的python实现

设计思路

这里就是实现一个非常非常简单的RNN。如果写完了一遍CNN的前向和反向传播话，RNN前后向传播也是相对好写的吧。主要注意三个问题：

• 处理sigmoid函数数值不稳定
• 公式下标，注意是t还是t-1
• 链式求导到 $h_t$时，有两个误差来源，一个是 $h_{t+1}$，一个是 $y_t$。

最后按照公式来（比如下方这个），仔细写就好！

参考文献

• All about recurrent neural networks
• Build a Recurrent Neural Network from Scratch