二阶条件

等式约束

首先考虑只有等式约束的情况
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ \mathrm{s}.\mathrm{t}.& c_i(x)=0,i=1,2,\cdots ,m\end{array}$$
设最优解 $x^{\ast }$ 存在，且在点 $x^{\ast }$ 处向量 $a_i^{\ast }(i\in \mathcal{E})$ 线性无关（即 LICQ 约束规范成立）。对于序列可行方向 $p\in {\mathcal{F}}^{\ast }$，存在可行序列 $x^{(k)}$ 及对应的方向序列 $p^{(k)}\to p$。由可行性，有
$$f(x^{(k)})=f(x^{\ast }+{\delta }_k{p}^{(k)})=\mathcal{L}(x^{\ast }+{\delta }_k{p}^{(k)},{\lambda }^{\ast })$$
因为 $x^{\ast }$ 是 $\mathcal{L}$ 的稳定点（$\nabla \mathcal{L}=0$），所以 $\mathcal{L}$ 在 $x^{\ast }$ 处的二阶 Taylor 展式为
$$\begin{array}{rl}f(x^{\ast }+{\delta }_k{p}^{(k)})& =\mathcal{L}(x^{\ast }+{\delta }_k{p}^{(k)},{\lambda }^{\ast })\\ & =f^{\ast }+\frac{1}{2}{\delta }_k^2{p^{(k)}}^T{W}^{\ast }{p}^{(k)}+o({\delta }_k)\end{array}$$
其中
$$W^{\ast }={\nabla }_x^2\mathcal{L}(x^{\ast },{\lambda }^{\ast })={\nabla }^{2}f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{\nabla }^2{c}_i(x^{\ast })$$
表示 Lagrange 函数关于 $x$ 的 Hessian 矩阵。

于是，有
$$\frac{f(x^{\ast }+{\delta }_k{p}^{(k)})}{{\delta }_k^2}=\frac{f^{\ast }}{{\delta }_k^2}+\frac{1}{2}{p^{(k)}}^T{W}^{\ast }{p}^{(k)}+\frac{o({\delta }_k)}{{\delta }_k^2}$$
又 $k\to \infty$，且 $x^{\ast }$ 为局部极小点，可得
$${p^{(k)}}^T{W}^{\ast }{p}^{(k)}\ge 0$$

定理（二阶必要条件） 设 $x^{\ast }$ 为问题的局部极小点，且满足 KKT 条件，设对应的 Lagrange 乘子为 ${\lambda }^{\ast }$，则对任一序列可行反向 $p$，必有
$$p^T{W}^{\ast }p\ge 0$$
推论 设 $x^{\ast }$ 为问题的局部极小点，且满足 KKT 条件，设对应的 Lagrange 乘子为 ${\lambda }^{\ast }$，若 ${\mathcal{F}}^{\ast }=F^{\ast }$，必有
$$p^T{W}^{\ast }p\ge 0,\forall p\in F^{\ast }$$

定理（二阶充分条件） 设 $x^{\ast }$ 是问题的 KKT 点，对应的 Lagrange 乘子为 ${\lambda }^{\ast }$，若条件
$$p^T{W}^{\ast }p>0,\forall p\in F^{\ast }$$
成立，则 $x^{\ast }$ 是问题的严格局部极小点。

例 考虑问题
$$\begin{array}{rl}\min & f(x)=\frac{1}{2}(x_1-1{)}^2+\frac{1}{2}{x}_2^2\\ \mathrm{s}.\mathrm{t}.& c(x)=x_1-\beta x_2^2=0\end{array}$$
讨论参数 $\beta$ 取何值时，$x^{\ast }=(0,0{)}^T$ 是局部极小点？

解 因为 $g^{\ast }=(-1,0{)}^T$，$a^{\ast }=(1,0{)}^T$，所以一阶条件满足，$x^{\ast }$ 是 KKT 点，且 ${\lambda }^{\ast }=1$，$W^{\ast }={\left(\begin{array}{cc}1& 0\\ 0& 1-2\beta \end{array}\right)}^T$

又 F ∗ = { p = ( 0 , p 2 ) T : p 2 ≠ 0 } F^* = \{p=(0,p_2)^T:p_2\neq0\} F∗={ p=(0,p2​)T:p2​​=0}，因此 $p^T{W}^{\ast }p=(1-2\beta )p_2^2$。从而，有

• 当 $\beta <\frac{1}{2}$，$x^{\ast }$ 是严格局部极小点
• 当 $\beta >\frac{1}{2}$，$x^{\ast }$ 不是局部极小点
• 当 $\beta =\frac{1}{2}$，$x^{\ast }$ 是严格局部极小点

弱积极约束与强积极约束

设 $x^{\ast }$ 是 KKT 点，${\lambda }^{\ast }$ 是对应的 Lagrange 乘子。

定义
KaTeX parse error: Undefined control sequence: \or at position 41: …in\mathcal{E} ~\̲o̲r̲~ \lambda_i^* >…
为强积极约束集合。也就是从 ${\mathcal{A}}^{\ast }$ 中剔除弱积极约束，即 ${\lambda }_i^{\ast }=0,i\in {\mathcal{I}}^{\ast }$，得到 ${\mathcal{A}}_{+}^{\ast }$。

定义
G ∗ = { p ∈ F ∗ : c i ( x ( k ) ) = 0 , ∀ i ∈ A + ∗ } \mathcal{G}^* = \{p\in\mathcal{F}^*:c_i(x^{(k)}) = 0,\forall i \in \mathcal{A}^*_+\} G∗={ p∈F∗:ci​(x(k))=0,∀i∈A+∗​}

G ∗ = { p ∈ R n : p ≠ 0 , a i ∗ T p = 0 , i ∈ A + ∗ , a i ∗ T p ≤ 0 , i ∈ A ∗ \ A + ∗ } G^* = \{p\in \mathbb{R}^n: p \neq 0, {a_i^*}^Tp = 0, i \in \mathcal{A}^*_+, {a_i^*}^Tp \leq 0, i \in \mathcal{A}^* \backslash \mathcal{A}_+^*\} G∗={ p∈Rn:p​=0,ai∗​Tp=0,i∈A+∗​,ai∗​Tp≤0,i∈A∗\A+∗​}

事实上，有

• ${\mathcal{G}}^{\ast }\subset G^{\ast }$
• 设 $p\in F^{\ast }$，则 $p^T{g}^{\ast }=0$ 当且仅当 $p\in G^{\ast }$

正则性假设 2 ：${\mathcal{G}}^{\ast }=G^{\ast }$

一般问题

首先一般约束优化问题
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ \mathrm{s}.\mathrm{t}.& c_i(x)=0,i\in \mathcal{E}\\ & c_i(x)\le 0,i\in \mathcal{I}\end{array}$$
有如下二阶条件

定理（二阶必要条件） 设 $x^{\ast }$ 为问题的局部极小点，且满足 KKT 条件，设对应的 Lagrange 乘子为 ${\lambda }^{\ast }$，若正则化条件 2 成立，必有
$$p^T{W}^{\ast }p\ge 0,\forall p\in G^{\ast }$$

定理（二阶充分条件） 设 $x^{\ast }$ 处存在 Lagrange 乘子使得 KKT 条件成立，对应的 Lagrange 乘子为 ${\lambda }^{\ast }$，若条件
$$p^T{W}^{\ast }p>0,\forall p\in G^{\ast }$$
成立，则 $x^{\ast }$ 是约束问题的严格局部极小点。

参考文献

[1] 刘红英，夏勇，周永生. 数学规划基础，北京，2012.