共轭梯度法是介于最速下降法和牛顿法之间的一个方法,相比最速下降法收敛速度快,并且不需要像牛顿法一样计算Hesse矩阵,只需计算一阶导数
共轭梯度法是共轭方向法的一种,意思是搜索方向都互相共轭
共轭的定义如下:
共轭梯度法是一种典型的共轭方向法,它的搜索方向是负梯度方向和上一次搜索方向的一个组合
关于βk-1,有两种常用的计算公式
(PRP公式)
(PRP公式)
共轭梯度法是介于最速下降法和牛顿法之间的一个方法,相比最速下降法收敛速度快,并且不需要像牛顿法一样计算Hesse矩阵,只需计算一阶导数
共轭梯度法是共轭方向法的一种,意思是搜索方向都互相共轭
共轭的定义如下:
共轭梯度法是一种典型的共轭方向法,它的搜索方向是负梯度方向和上一次搜索方向的一个组合
关于βk-1,有两种常用的计算公式
(PRP公式)
(PRP公式)