一.标准化方程
在前面的梯度下降法中我们提到过如何用矩阵来表示线性回归:
但是该式子会引出以下在线性代数的相关问题.
1.为什么不直接使用式子 求解
原因很简单,当X不是方阵时,X是不存在逆矩阵的,所以需要通过 来间接求逆矩阵,那么又引出下一问题
2.若 不存在逆矩阵呢
不存在逆矩阵,通常存在以下情况中:
1. 存在两个相关的特征量,例如住宅面积使用了
和英亩两种单位作为两个特征量,那么会使得矩阵
不满秩,这时删除其中一个特征量即可.
2. 特征量的值大于训练数据个数,也会导致不满秩,此时需要删除一些特征量或进行标准化(不太清楚标准化).
二.标准化方程与梯度下降比较
标准化方程 | 梯度下降 | |
---|---|---|
优点 | 无需选取学习率α,无需迭代 | 当训练数据个数n很大时,速度也较为平稳 |
缺点 | 由于求逆运算的复杂度为 ,所以当n很大时,求解时间过长 | 需要调整学习率α,使收敛速率和准确度达到平衡 |