我们知道反向传播每次迭代的效果是这样的:
我们知道,每条训练数据都会导致训练的过程中,
计算一次
,假如我的
初始化为0,最终的值是0.7
但是我的学习率
,一万条数据,
epoch=1够不够,可能够,也可能不够.
因为你想啊,就假如一个三层的神经网络
第一层和第二层之间有个
第2层和第3层之间有个
假设w在0~1之间,那么就有1/
=10000种取值,
并且层与层之间的w还得排列组合,这些排列组合虽然是根据
不断调整
的,你能确保这些层与层之间的不同w的值的组合
刚好令loss(也就是E)最小吗?
显然不能,所以根据梯度下降的过程,你需要很多次epoch,才有可能让神经网络来拟合处满足当前训练集的模型.
一言概之,为啥需要多次epoch,
就是
还没来得及迭代到最终的值.
当然最终的值很可能会让神经网络过拟合,这是后话.