一、最小化误差函数拟合
正则化( regularization )技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。这推导出了误差函数的修改后的形式:
在效果上, λ 控制了模型的复杂性,因此决定了过拟合的程度。
二、贝叶斯曲线拟合
1.正态分布( normal distribution )或者高斯分布( Gaussian distribution )
对于一元实值变量 x ,高斯分布被定义为:
它由两个参数控制:\(μ\) ,被叫做均值( mean ),以及\(σ^2\) ,被叫做方差( variance )。方差的平方根,由 \(σ\) 给定,被叫做标准差( standard deviation )。方差的倒数,记作 \(β = \frac{1}{σ^2}\) ,被叫做精度( precision )。