文章目录
- epoch：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch.当一个epoch对于计算机来说太大的时候，就要把它分成多个小块（即batch）。
- batch：当不能将数据一次性通过神经网络的时候，就需要将数据集分成几个batch
- batch_size：一个batch中的样本总数或1次迭代所使用的样本量。
- iteration：1次迭代（也叫training step）表示[batch_size]个训练数据forward+backward后更新参数过程。
例如：
你有1000个数据，这个数据集可能太大了，全部跑一次再调参很慢，于是可以分成100个为一个数据集，这样有10份。这100个数据组成的数据集叫batch，此时batch_size=100。每跑完一个batch都要更新参数，这个过程叫一个iteration。epoch指的就是跑完这10个batch（10个iteration）的这个过程