1. 偏差与方差
区分偏差和方差,我们可以看训练集上的误差和验证集上的误差。
- 训练集的误差低,验证集的误差高,表现为高方差,可能是过拟合了
- 训练集的误差高,验证集与训练集的误差与训练集误差相当,表现为高偏差,可能是欠拟合了
如图所示:
直观看,红点表示真实值的范围,蓝点表示预测。
- 当蓝点特别聚集时,表示低方差,当蓝点特别稀疏时,表示高方差
- 当蓝点特别接近红点时,表示低偏差;反之,表示高偏差
方差和偏差的取值在什么时候,模型是最好的呢?
如图,当方差和偏差都比较低时,可以取得最好的模型。
正则化
正则化相当于加了一个惩罚因子,使得参数w趋于0左右,如图:
它能使一部分网络基本不工作,所以可以有效地缓解过拟合。
dropout正则化
它的思想很简单,就是给每个节点设置一个打开和关闭的概率,使得网络不是全连接的,同时,网络还具有一定的随机性,如此得出的神经网络也不是特别复杂,如图所示: