标准形式
$Min\qquad f_0(x)$
$s.t.\qquad f_i(x) \le 0 \quad i=1,...,m$
$\qquad h_i(x)=0 \quad i=1,...,p$
其中 $x \in R^n$，定义域 $D$，最优值 $p^*$





拉格朗日： $L:R^n \times R^m \times R^p \rightarrow R$
$dom(L)=D \times R^m \times R^p$
$L(x,\lambda,\nu)= f_0(x)+\sum_{i=1}^{m}\lambda_if_i(x)+\sum_{i=1}^{p}\nu_ih_i(x)$

拉格朗日对偶函数：
$g(\lambda,\nu)=\inf \limits_{x \in D}L(x,\lambda,\nu)$
$\inf \limits_{x \in D}(f_0(x)+\sum_{i=1}^{m}\lambda_if_i(x)+\sum_{i=1}^{p}\nu_ih_i(x))$

• $g$ 凹 ,可能 负无穷 for some $\lambda,\nu$
• lower bound property:if $\lambda \ge 0,$就 $g(\lambda,\nu) \le p^*$

第二个为什么成立呢？
假设 $D子集$就是满足s.t.条件的 $x$集合，那么
$p^*=\inf\limits_{D子集}f_0(x)=$
$\inf\limits_{D子集}f_0(x)+\sum_{i=1}^{p}\nu_ih_i(x)) \ge$
$\inf \limits_{x \in D子集}(f_0(x)+\sum_{i=1}^{m}\lambda_if_i(x)+\sum_{i=1}^{p}\nu_ih_i(x)) \ge$
$\inf \limits_{x \in D}(f_0(x)+\sum_{i=1}^{m}\lambda_if_i(x)+\sum_{i=1}^{p}\nu_ih_i(x))$
$=g(\lambda,\nu)$




\

拉格朗日对偶问题

$max \qquad g(\lambda,\nu)$
$s.t. \qquad \lambda \ge 0$

• find best lower bound on $p^*$，ontained from 拉格朗日对偶函数
• a concave optimization problem with optimal value denoted as $d^*$
  

弱强对偶

• 弱： $d^* \le p^*$
  -总是成立
  可以用来去找困难问题的非平凡下界
• $d^*=p^*$
  -一般并不成立
  通常对于凸问题成立

\

互补松弛