广义线性回归和对偶优化
ps: 个人笔记 根据视频和PDF学习
线性回归
y=ax+b
多个变量的情形
考虑两个变量
最小二乘的目标函数
m为样本个数,则一个比较“符合常理”的误差函数为:
最小二乘建立的目标函数,即是在噪声为均值为0的高斯分布下,极大似然估计的目标函数
使用极大似然估计解释最小二乘
似然函数
对数似然
θ的解析式的求解过程
最小二乘意义下的参数最优解
参数的解析式
若X T X不可逆,上式不可使用
附:“简便”方法记忆结论
加入λ扰动后
X T X半正定:对于任意的非零向量u
所以,对于任意的实数λ>0, 正定,从而可逆。保证回归公式一定有意义。