偏差方差
解决过拟合的措施:
1、增加数据集
2、L2正则化
3、Dropout正则化
4、数据预处理方式增加数据集
5、早停机制
正则化输入的重要性
梯度检查
梯度检查注意事项
mini-batch
一般取64-512
指数加权平均
指数加权平均的偏差修正
动量梯度下降
RMSprop
Adam:结合上面两种优化算法的优点
学习率衰减
Batch-norm批标准化:减少了该层与上一层的权重更新关系,
偏差方差
解决过拟合的措施:
1、增加数据集
2、L2正则化
3、Dropout正则化
4、数据预处理方式增加数据集
5、早停机制
正则化输入的重要性
梯度检查
梯度检查注意事项
mini-batch
一般取64-512
指数加权平均
指数加权平均的偏差修正
动量梯度下降
RMSprop
Adam:结合上面两种优化算法的优点
学习率衰减
Batch-norm批标准化:减少了该层与上一层的权重更新关系,