简介
牛顿法,英文名称BFGS,是求解非线性优化问题的最有效的方法之一。
特点
- 收敛速度快;
方式
- 牛顿法是迭代算法,每一步需要求解目标函数的海塞矩阵的逆矩阵,计算比较复杂(后续会讲解拟牛顿法,拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵,简化了这个过程。
分析
考虑无约束最优化问题
minx∈Rf(x)\min_{x \in R} f(x)minx∈Rf(x)
其中x∗x^*x∗为目标函数的极小点。 假设f(x)具有二阶连续偏导数,若第k次迭代值为x(k)x^{(k)}x(k),则可将f(x)在x(k)x^{(k)}x(k)附近进行二阶泰勒展开:
f(x)=f(xk)+gkT(x−xk)+1/2(x−xk)TH(xk)(x−xk)f(x) = f(x^{k}) + g_{k}^{T}(x - x^{k}) + 1/2(x-x^{k})^TH(x^{k})(x - x^{k})f(x)=f(xk)+gkT(x−xk)+1/2(x−xk)TH(xk)(x−xk)
- gk=g(xk)=∇(f(xk))g_k = g(x^{k})= \nabla(f(x^{k})) gk=g(xk)=∇(f(xk))是f(x)的梯度向量在x(k)x^{(k)}x(k)的值。
- H(xk)H(x^{k})H(xk)是f(x)的海塞矩阵 [∂f2∂xi∂yj]nxn [\frac {\partial f^2} {\partial x_i \partial y_j}]_{nxn}[∂xi∂yj∂f2]nxn在x(k)x^{(k)}x(k)的值。
这里详解下泰勒展开式的里面的海塞矩阵,暂时讲解下二元函数的泰勒展开式
接着我们继续进行,函数f(x)有极值的必要条件是在极值点处的一阶导数为0,即梯度向量为0。特别是当H(xk)H(x^{k})H(xk)是正定矩阵的时候,函数f(x)的极值为极小值,所以:
∇(f(x))=0\nabla(f(x)) = 0∇(f(x))=0
对f(x)求导,则
∇(f(x)=f(xk)+gkT(x−xk)+1/2(x−xk)TH(xk(x−xk)))\nabla(f(x) = f(x^{k}) + g_{k}^{T}(x - x^{k}) + 1/2(x-x^{k})^TH(x^{k}(x - x^{k})))∇(f(x)=f(xk)+gkT(x−xk)+1/2(x−xk)TH(xk(x−xk))) =gk+H(xk)(x−xk)= g_k + H(x^{k})(x - x^{k})=gk+H(xk)(x−xk) 则 gk+H(xk)(xk+1−xk)=0 g_k + H(x^{k})(x^{k+1} - x^{k}) = 0gk+H(xk)(xk+1−xk)=0 xk+1−xk=−H(xk)−1gkx^{k+1} - x^{k}= -H(x^k)^{-1}g_kxk+1−xk=−H(xk)−1gk 或者 xk+1=xk+pk x^{k+1} = x^{k} + p_kxk+1=xk+pk 其中 H(xk)pk=−gk H(x^k)p_k = -g_kH(xk)pk=−gk 到此公式推导完毕
算法
输入:目标函数f(x),梯度g(x)=∇f(x) g(x) = \nabla f(x)g(x)=∇f(x),海塞矩阵H(x),精度要求ε; 输出:f(x)的极小点x^*;
- 取初始值点x(0)x^{(0)}x(0),k=0;
- 计算gk=g(x(k))g_k = g(x^{(k)})gk=g(x(k))
- 若∣∣gk∣∣<ε||g_k|| < ε∣∣gk∣∣<ε,则停止计算,得到解x∗=x(k)x^* = x^{(k)}x∗=x(k)
- 计算Hk=H(x(k))H_k = H(x^{(k)})Hk=H(x(k)),并且求解pkp_kpk
H(xk)pk=−gk H(x^k)p_k = -g_kH(xk)pk=−gk 5. 进行迭代,xk+1=xk+pkx^{k+1} = x^{k} + p_kxk+1=xk+pk,请求k++,转到第2步;
我为大家准备了一份整整200G的学习资料大礼包!迪迦熬夜整理,只希望大家给个三连即可!免费领取可以扫码加我的助手小姐姐vx,也很欢迎加入我的扣扣学习交流群一起学习交流:1019725448
扫码添加即可领取!
扣扣学习交流群!欢迎大家加入一起学习交流(大牛答疑、资料分享、技术交流、AI行业前沿信息)