三种梯度下降法:
若是样本很多,用标准梯度法会很慢,用随机梯度会很快,但是由于每个样本都会用来更新权重,会有噪声的引入,会产生更新错误。
Momentum:
因此训练速度会有一定的加快。
NAG(Nesterov accelerated gradient):
Adagrad:
RMSProp:基于adagrad的缺点提出了这个
若是样本很多,用标准梯度法会很慢,用随机梯度会很快,但是由于每个样本都会用来更新权重,会有噪声的引入,会产生更新错误。
因此训练速度会有一定的加快。