正向传播:
反向传播:Tanh函数(-1~+1,可以防止梯度爆炸)
多层网络与双向网络
长短期记忆网络(LSTM)
1.为什么需要LSTM:普通RNN的信息不能长久传播(只存在于理论中)
2. 引入选择性机制:选择性输出,输入,遗忘
3. 选择性->门
正向传播:
反向传播:Tanh函数(-1~+1,可以防止梯度爆炸)
多层网络与双向网络
长短期记忆网络(LSTM)
1.为什么需要LSTM:普通RNN的信息不能长久传播(只存在于理论中)
2. 引入选择性机制:选择性输出,输入,遗忘
3. 选择性->门