多元线性回归的代价函数推导
决策函数:
hθ(x)=θ1x1+θ2x2+...+θnxn=∑ni=1θixi=θTx
令有m个样本,对于每个样本:
y(i)=hθ(x(i))+ϵ(i)
…………….(1)
ϵ(i)
表示真实值与预测值之间的误差,我们通常认为
ϵ(i)
是独立并具有相同的分布,并且服从均值为0方差为
θ2
的高斯分布。
于是:
p(ϵ(i))=12π√σexp(−(ϵ(i))22σ2)
……(2)
将(1)代入(2)可得:
p(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)
故似然函数为:
L(θ)=∏mi=112π√σexp(−(y(i)−θTx(i))22σ2)
扫描二维码关注公众号,回复:
2878046 查看本文章
为方便求导变为对数似然:
lnL(θ)=ln∑mi=112π√σexp(−(y(i)−θTx(i))22σ2)
=m.ln12π√σ−1σ2.12∑mi=1(y(i)−θTx(i))2
此时我们需要求得参数
θ^
使似然函数
L(θ)
最大:
J(θ)=12∑mi=1(y(i)−θTx(i))2
(最小二乘法)
由化简后的式子可知,上式越小,似然函数越大
在吴恩达的课程中将代价函数写为:
J(θ)=12m∑mi=1(y(i)−θTx(i))2
方便计算