线性回归中有这样一条性质:
总偏差平方和(SST)=回归平方和(SSR)+残差平方和(SSE)
即:
∑(yi−y)2=∑(y^i−y)2+∑(yi−y)2(1)
证明:下面以一元回归为例证明。
∑(yi−y)2=∑(yi−y^i+y^i−y)2=∑(yi−y^i)2+∑(y^i−y)2+2∑(yi−y^i)(y^i−y)
因此,我们需要证明
∑(yi−y^i)(y^i−y)=0.
∑(yi−y^i)(y^i−y)=∑(yi−y^i)y^i−y∑(yi−y^i)(2)
根据最小二乘法,若回归方程为:
y=β0+β1x,优化目标是使得
f=∑(yi−β0+β1xi)2最小,通过令一阶导数
f 为零计算
β0,β1:
∂β0∂f=−2∑(yi−β0+β1xi)=0
由于
y^i=β0+β1xi,所以
∑(yi−y^i)=0(3)
又因为:
∂β1∂f=2∑xi(yi−β0+β1xi)=0
所以,
∑(β0+β1xi)(yi−β0+β1xi)=∑y^i(y^i−yi)=0(4)
综合表达式 (2),(3),(4),表达式(1)成立。因此:
总偏差平方和(SST)=回归平方和(SSR)+残差平方和(SSE)
□