1.线性模型的基本形式(P53)
给定d个属性描述,预测函数如下形式
一般向量形式
(3.2)
其中,为列向量。w和b学得之后,就可以确定模型。
2.线性回归
给定数据集,其中,.
已知属性和结果,学习w和b。
,即使得
这里我们使用均方误差的方式去度量回归任务的性能,因此我们让均方误差最小化
(3.4)
求解w和b使(3.4)式最小化的过程,称为线性回归模型的最小二乘“参数估计”。分别对w和b求导,
由上式可得到
(3.5.1)
(3.6.1)
使用(3.5.1)式对w求导得
(3.5)
使用(3.6.1)式对d求导得
(3.6)
令(3.5),(3.6)为0,可得到w和b的最优解。
多元线性回归
令w'=(w;b),,则
PS:X矩阵在这里多加了一个‘1’元素,是为了与b相乘,
类似于(3.4)式,有
矩阵的转置乘以矩阵本身等于矩阵的平方,
对求导得,将上式转化为下式
(3.10)
3.对数几率回归
对数线性模型,对(3.2)式两边取对数得
简化为以下形式
(3.15)
引入对数几率函数
将对数几率函数带入(3.15)式,得
(3.18)
(3.18.1)
两边取对数,转化为对数线性回归模型,得
概率模型
有(3.18)式转换可得,
, (3.23)
(3.24)
对数回归模型最大化“对数似然”
(3.25)
令,,则可简写成.再令,
,则式(3.25)中的似然项可重写为
(3.26)
当或,即可获得式(3.23)和(3.24)
(3.23)式用简写,
等式两边取对数
(3.24)式用简写,
等式两边取对数
由以上可得,我们将(3.26)带入(3.25),可得到最小化公式
(3.27)
令或,即可得到以上推导过程,式(3.27)为最小化,(3.25)为最大化,
所以上式加了个负号。
牛顿法求最优解
(3.27)式对求一阶导,令,,
(PS:这里普及一个对数求导公式,,)
由普及公式可知
, (3.30.1)
(3.30)
利用式(3.30)进行求导,可得式(3.27)的二阶导,先对式(3.30.1)分别进行求导,
先令 为,为
(PS:分式求导公式,已知,令,,则)
由已知公式,得
由以上推导可得二阶导为
用牛顿法进行多次迭代后,得到以下公式
可以利用此公式进行多次循环,得出w和b
(公式写得有点多,有出错的地方,请指正。)