在深度学习的很多算法中,正则化是通过在目标函数J后面加上一个参数范数惩罚Ω(θ)来限制模型的学习能力,正则化之后的目标函数如下:
其中α∈(0,∞),α的值表示权衡原始目标函数J()和参数范数惩罚Ω(θ)的相对贡献度,将设为0表示没有正则化 越大,对应正则化惩罚越大。
训练算法最小化正则化后的目标函数~ J 时,它会降低原始目标J 关于训练数据的误差并同时减小在某些衡量标准下参数(或参数子集)的规模。选择不同的参数范数Ω 会偏好不同的解。
在深度学习的很多算法中,正则化是通过在目标函数J后面加上一个参数范数惩罚Ω(θ)来限制模型的学习能力,正则化之后的目标函数如下:
其中α∈(0,∞),α的值表示权衡原始目标函数J()和参数范数惩罚Ω(θ)的相对贡献度,将设为0表示没有正则化 越大,对应正则化惩罚越大。
训练算法最小化正则化后的目标函数~ J 时,它会降低原始目标J 关于训练数据的误差并同时减小在某些衡量标准下参数(或参数子集)的规模。选择不同的参数范数Ω 会偏好不同的解。