Normal equation标准方程法
最近在学习吴恩达的机器学习视频，遇到了Normal equation方法，其直接给出了公式，没有推导过程。网上搜到的推导过程也不是很清楚。本文将着重进行公式推导，至于 Normal equation的含义以及其与梯度下降的对比，可以参见：机器学习笔记03。
在视频中，其给出了Normal equation的公式：
其主要是通过cost function推导过来的，首先我们做如下假设：
cost function函数为：
我们的目的是在不同的组合下，值能够最小。所以我们可以通过对每个求偏导，求出对应偏导数等于0的每个值，就是最终的组合。求偏导的过程如下：
我们先来看
转化为矩阵运算为：
将第二部分分开为：
将(5)带入得：
将(2)带入得：
因此：
我们可以通过矩阵将这n个式子结合到一起：
最前面的1/m可以舍去，因为:
所以上述（6）可以化简为：
将
将
等式两边同时乘以
因为:
其中E是单位矩阵，有
