上一篇:一元线性回归模型(一)传送门
一、最小二乘性质证明
1)线性性质
说明:小写的x,y代表离差:
离差的求和为0
因此得到系数:
2)无偏性
(3)有效性
通过上述分析看出,普通最小二乘估计量具有线性、无偏性和有效性等优良性质,是最优线性无偏估计。
二、参数估计量的概率分布及随机干扰项方差的估计
a.两个参数的概率分布服从正态分布
b.随机干扰项的误差
由于随即项不可预测,只能从残差出发。
因此我们从残差的平方和 E(ei2) 出发,为什么分子是n-2而不是n?估计参数时:df=n; 估计方差时,自由度存在损失:df=n-2.
三、统计检验
1,拟合优度检验
拟合:有样本推测整体,为一个拟合/估计/近似的过程
拟合优度:样本对整体的拟合程度
拟合优度检验:构造一个表征拟合程度的指标,计算值与某一标准进行比较。
思考:之前的参数确定过程已经保证了模型最好,已经具有一定的合理性,为何还要?
答:跳出问题本身,不同问题之间进行优劣程度的比较。同样是基于最小二乘法,不同问题的拟合程度不相同,适用于不同问题的比较。
(1)总离差平方和
由上图可以看到:Y的观测值围绕其均值的总离差平方和可分为两部分:一部分来自回归线,另一部分则来自随机势力。因此,可用ESS与TSS的比作为拟合优度。
思考:为什么不直接用ESS或RSS?
答:检验统计量的一般应该是相对量,而不能用绝对量,采用绝对量无法设置标准。
得到可决系数/拟合优度:
其中,可决系数越大则认为拟合程度越好,当R2=1,RSS为0,所有的点都在线上,Y不存在随机性;R2=0时,所有的散点都在线外。
2,变量的显著性检验(真正意义上主流的检验)
显著性检验:被解释变量与解释变量之间的线性关系是否显著成立。
一个标准的假设检验包含要素:原假设H0、备择假设H1、检验统计量(根据它来判断是否拒绝原假设)、拒绝域、结论
反证法是根据小概率事件原理,当不应该出现的小概率事件出现了,则应该拒绝原假设;反之,小概率事件没有出现,就没有理由拒绝原假设。其中也会出现两种错误分为:拒绝真的(第一类错误)和接纳错的(第二类错误),我们应先避免第一类错误,因为拒绝可以i理直气壮,接收的不情不愿。
t检验:
将需要证明的条件放在备择假设中,,而不是原假设中。
3,
待定ing