线性无关且共轭,表示为x的基
这样极小化括号的数,转化为n个一维的优化问题
这里求最小值 隐含了
,所以要求对称正定,即强凸的。
共轭法
搜索步长
是通过极小化
得到的
即对于凸的二次函数,共轭算法的步长是可能精确计算得到的
证明
举例
二维的问题,
的等高线是椭圆,由于A是对角阵,所以对称轴于行于坐标轴,且e1与e2对于A是共轭
;
当A,不再是对角矩阵时,e1与e2 不再是A的共轭方向
2步之内无法找到问题的解
因此,坐标方向法:当原始问题对应的矩阵A非对角时,我们可以对原问题作线性变化,使得新的newA 是对角的,然后可以使用共轭方向法在n 部内求得最优点。
一般性
第k步生成的残差rk和前面的搜索方向正交
如何生成共轭搜索方向,两种方法:特征向量,和Gram -Schmidt 正交化。对于第一种有对于实对称矩阵属于不同特征值的特征向量相互正交,因此可以推出来这些特征向量对于A 是共轭的
共轭梯度法
具体流程
对于
和
正交,则可以推出来n维空间中和n个线性无关向量都正交的话,这个向量一定是n向量,即
是所求的解。
这些结论是依赖于初始点的选择的,即是在(p0=-ro)
当
非常接近时,第
步迭代解非常接近精确 解
共轭梯度法在更新迭代方向时不仅利用了利用了上一步的迭代方向,同时利用了上一步的梯度信息,因此相对于最速下降法更快收敛
当条件数越小,越快,特别是当条件数为1时,其单位矩阵,只需要一步便可以得到最优解
算法回速Pre conditioning
当特征值 分部比较集中时,当分布到1 附近时收敛更快。通过对变量线性变换,转换成具有好的性质,即特征值相对集中
上述的目标还是在解
,但是为了加速计算,先对x 作线性变换
,代入上式得到关于
的方程,求解出最优的
来重构要求的x,
当然可以利用上面的程序直接求出x,是等价的
需要求的