深度学习中的偏差和方差

偏差和方差的意义

深度学习中,偏差指的是预测值和真实值之间的误差,方差可以理解为训练数据集精度和测试数据集精度之间的差异。下表则表示在训练神经网络时可能出现的结果,低偏差低方差则是我们期待的结果。

1 2 3 4 5
训练集误差 10% 10% 1% 1%
测试集误差 20% 10.5% 20% 1.5%
结果 高偏差高方差 高偏差低方差 低偏差高方差 低偏差低方差

用图片表示则如下图,图1为欠拟合,可以理解为是高偏差低方差,图3是过拟合,可以理解为是低偏差高方差,这两种结果都不是最优的状态。图2则为可以理解为低偏差低方差,是比较好的拟合。

猜你喜欢

转载自blog.csdn.net/weixin_42999968/article/details/125644274