优化问题中拉格朗日函数的意义

考虑优化问题:
min x f ( x ) s . t . c 1 ( x ) = 0 c 2 ( x ) 0 \begin{array}{ll} \min_x & f(x) \\\\ s.t. & c_1(x) = 0 \\\\ & c_2(x) \geq 0 \end{array}

构造拉格朗日函数:
L ( x , λ ) = f ( x ) λ 1 c 1 ( x ) λ 2 c 2 ( x ) L(x,\lambda) = f(x) -\lambda_1 c_1(x) - \lambda_2 c_2(x)
等式约束的对偶变量 λ 1 \lambda_1 在拉格朗日函数中取正取负都行,但不等式约束的对偶变量 λ 2 \lambda_2 在这里只能取正( λ 2 > 0 \lambda_2 > 0 λ 2 < 0 -\lambda_2 <0 )。

为什么呢?

因为只有这样,在可行域 D = { x c 1 ( x ) = 0 , c 2 ( x ) 0 } D=\{x| c_1(x) = 0, c_2(x) \geq0\} 内,原目标函数 f ( x ) f(x) 是拉格朗日函数的一个上界,即
max λ L ( x , λ ) = { f ( x ) , x D , + , o t h e r w i s e . (1) \max_{\lambda} L(x,\lambda) = \left\{ \begin{array}{lr} f(x), & x \in D, \\ +\infty, & otherwise. \end{array} \right. \tag{1}

所以原优化问题等价于:
min x f ( x ) = min x max λ L ( x , λ ) \min_x f(x) = \min_x \max_\lambda L(x,\lambda)

从中可以看出拉格朗日函数的意义,把约束问题转化成了无约束问题。

在这里插入图片描述
因为可行域内的值永远小于可行域外的正无穷大,在求极小值的时候一定能保证结果在可行域内。

原创文章 338 获赞 621 访问量 50万+

猜你喜欢

转载自blog.csdn.net/itnerd/article/details/105063551