参考:《机器学习》西瓜书————周志华
以下为个人笔记,不免有很多细节不对之处。仅供参考!
1、原理:
均方误差MES有非常好的几何意义,它对应了常用的欧几里得距离或简称“欧氏距离”(Euclidean distance).基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method).在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.
2、模型分析:
如何确定w和b呢?显然,关键在于如何衡量f(z)与y之间的差别,均方误差(2.2)是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化,即:
扫描二维码关注公众号,回复:
13968734 查看本文章
然后令式(3.5)(3.6)为零可得到w和b最优解得闭式解:
3、利用最小二乘法求解线性回归
关于求偏导过程:
推导手稿:
注意:
1.前面乘以二分之一是对损失函数求导时消除误差评分项的影响
2.,m是一个常数