考虑优化问题:
minxs.t.f(x)c1(x)=0c2(x)≥0
构造拉格朗日函数:
L(x,λ)=f(x)−λ1c1(x)−λ2c2(x)
等式约束的对偶变量
λ1 在拉格朗日函数中取正取负都行,但不等式约束的对偶变量
λ2 在这里只能取正(
λ2>0 或
−λ2<0)。
为什么呢?
因为只有这样,在可行域
D={x∣c1(x)=0,c2(x)≥0} 内,原目标函数
f(x) 是拉格朗日函数的一个上界,即
λmaxL(x,λ)={f(x),+∞,x∈D,otherwise.(1)
所以原优化问题等价于:
xminf(x)=xminλmaxL(x,λ)
从中可以看出拉格朗日函数的意义,把约束问题转化成了无约束问题。
因为可行域内的值永远小于可行域外的正无穷大,在求极小值的时候一定能保证结果在可行域内。