对刚入门的来说,看到这篇文章可能会懵,但是只需要知道在对线性回归模型进行建模的时候,一定要验证是否符合线性回归模型的基本假设即可,可以暂时不看推导过程,只记住结论。如果不符合,则会导致模型表现不好。模型的诊断与调优是一个系统化工作量很大的工程,该课程在讲解过程中简化了很多内容,更重要的提供了一些解决问题的方法思路。所以,该课程最重要的是把知识框架建立起来,然后循序渐进,在以后的学习过程中,逐渐补充深化所学的知识。
文章目录
1. 违背基本假设
回归模型的基本假设:
1.1 常见不满足基本假设的情况
1.2 异方差(Heteroscedasticity)
1.2.1 造成异方差的常见原因:
- 模型缺少了某些解释变量。缺省变量本身的方差被包含在了随机误差的方差之中。模型主要是通过分析影响因素的方差而生成的。也就是说,所有影响因素的方差(因素变化引起结果的改变,方差改变)都能够通过模型表征出来,那么这个模型的性能是符合要求的。但如果说,某一预测实际受到10个因素影响,但是在建模过程中,只选择了其中的8个,如果漏选的2个因素方差比较大(即对结果的影响比较大)的话,那么此时的模型是不好的。因为有些因素导致的变化,模型没有表征出来。即此时的误差项中还包含着对结果有影响的因素没有提出出来,此时的误差项不再是常数,而是包含2个漏选因素随着自变量取值变化而呈有股规律变化的误差,即异方差。如下例:
- 模型本身选取有误,比如原本是非线性的,结果使用了线性模型。
绿框是选取的模型(错误的模型,误把非线性当做线性) ,红色框才应该是正确的模型选择。右图是误差曲线,可以看出不是常值,而是呈现明显的变化规律,因此选取的模型中,漏选了影响因素,造成了异方差。 - 其他原因:(1)样本量过少、(2)测量误差、(3)异常数据、(4)时序分析或使用面板数据等。
1.2.2 异方差的检验
- 残差图分析
- 等级相关系数法
- 其他常见的检验方法:
- 制图分析
等级相关系数法检验异方差:
1.2.3 消除异方差:加权最小二乘法
1.3 自相关
1.3.1 自相关的常见成因
1.3.2 自相关的检验
- 图示检验法和自相关系数法
- DW检验法
一阶的含义,下一时刻的值只和前一时刻的值有关。Dl、Du 分别指上下界。
1.3.3 消除自相关:迭代法
1.3.4 消除自相关:差分法
1.3.5 消除自相关:BOX-COX变换
1.3.6 自关联的检验
- 图示分析
接下来做 与 的图:
- 自相关系数:
- DW检验
- 迭代法
- 差分法
1.3.7 BOX-COX变换:异方差
1.3.8 BOX-COX变换:自相关
1.4 异常值
2. 自变量选择
2.1 自变量选择的准则
实例:
注意:在自变量合数发生变化时,需要重新对模型进行评估。
2.2 自变量选择方法
2.2.1 前进法
2.2.2 后退法
2.2.3 前进法&后退法比较
自变量互相独立,在现实生活中,一般不存在。
2.2.4 自变量选择:逐步回归法
3. 多重共线性
3.1 多重共线性诊断
3.1.1 直观判定法
3.1.2 方差扩大因子(VIF)
3.1.3 特征根判定法
3.2 消除多重共线性
3.3 多重共线性:案例
4. 改进的回归
4.1 岭回归
4.1.1 岭迹图
4.1.2 岭迹分析
在第一幅图中,红圈所在的地方,在K接近0的区域,岭迹曲线趋于无穷,可以认为在此区域的K值,对模型影响较小,甚至可以忽略。
4.1.3 岭参数K的选择
4.1.4 领回归选择自变量
4.1.5 领回归案例
- 标准化自变量和因变量;
- 计算不同K值时的标准岭估计参数,绘制岭迹图;
右图中分析可知,beta-2和beta-3的相关性很强,因此可以去掉其中一个。
4.2 LASSO回归
L1范数更倾向于将其中的一些系数置为零,即忽略一些自变量;L2范数基本上会将原来的自变量保留,只是会把影响不大的自变量的系数变得很小,接近于零而不等于零。
总结
- 课程纲要
- 学习目标
- 思考与练习
课程链接:https://edu.aliyun.com/roadmap/ai?spm=5176.13944111.1409070.1.61cc28fcAV0KvR