各模型对比
回归
参考数据《机器学习实战》第八章
线性回归 |
公式 |
特点 |
普通最小二乘法 |
平均误差: 然后对w求导,得到:
|
----- |
- |
线性可能出现欠拟合,因为求得是最小均方误差的无偏估计。 所以有些方法允许引入一些偏差,从而降低预测的均方差。 其中一个方法为局部加权线性回归 |
- |
局部加权线性回归 |
|
|
- |
当数据的特征比样本还多,不满秩,或相关性大时,或者用于在估计中加入偏差。 |
- |
岭回归 |
引入λI,使矩阵非奇异,来限制所有w之和, 能够减少不重要的参数,同时成为所见。
|
- |
lasso |
增加如下约束,普通的最小二乘法回归会得到与岭回归一样的公式:
|
|
— |
---- |
— |
生活中大多数都是非线性的,树回归可对复杂和非线性的数据建模树回归
对比:树回归VS决策树