待优化问题为:
拉格朗日乘子为:
那么就将约束条件和非约束条件融合在一起表述。原因如下:该式子的目的是,找到合适的α和β,让L(w,α,β)的值最大。如果不满足约束条件,那么只要使α或β无穷大,该式子就趋于无穷大。如果满足约束条件,hi(w)=0,因此L(w,α,β)最后一项就为0。∵ gi(w)<0,所以L(w,α,β)最大值就是f(w)。
因此minw f(w)即就是求该式的值,定义该式是原始问题。
通常情况,原始问题比较难以求解。因此,在某些特定条件下(KKT条件),我们可以用比较好求解的对偶问题来解决原始问题。
对偶问题
定义:
对其取最大值,即给出对偶优化问题,定义为d*:
从公式上看,对偶问题就是把原始问题中的min,max换了顺序。
可得:
原始问题和对偶问题获得相同解的条件:
令f为凸函数(凸函数的hessian 矩阵是半正定的,H>=0,即开口朝上的碗状函数)
假设hi为仿射函数,即
假设gi是严格可执行的,即存在w,使得对于所有i,gi(w)<0
在上述条件下,存在w*,α*,β*,其中w*是原始问题的解,α*,β*是对偶问题的解,并且:
此外,还要满足条件:
这些条件被称为KKT互补条件。