主要参考书目：
1. 最优化方法及其应用/郭科，陈聆，魏友华.-北京：高等教育出版社,2007.7(2013.7重印)

1、二次型与正定矩阵

2、方向导数与梯度

3、Hesse矩阵及泰勒展式

• Hesse(/ˈhɛsə/)矩阵
  $$\bigtriangledown^2f(X_0)=\begin{bmatrix} \dfrac{\partial^2f(X_0)}{\partial x_1^2}& \dfrac{\partial^2f(X_0)}{\partial x_1\partial x_2}& \cdots& \dfrac{\partial^2f(X_0)}{\partial x_1\partial x_n}\\ \dfrac{\partial^2f(X_0)}{\partial x_2 \partial x_1 }& \dfrac{\partial^2f(X_0)}{\partial x_2^2}& \cdots& \dfrac{\partial^2f(X_0)}{\partial x_2\partial x_n}\\ \cdots& \cdots& \cdots& \cdots\\ \dfrac{\partial^2f(X_0)}{\partial x_n \partial x_1 }& \dfrac{\partial^2f(X_0)}{\partial x_n \partial x_2 }& \cdots& \dfrac{\partial^2f(X_0)}{\partial x_n^2}\\ \end{bmatrix}$$
  容易发现，当f在$X_0$处二阶偏导连续时，Hesse矩阵对称。
• 多元向量函数的导数
  设$H:R^n\rightarrow R^m,X_0 \in R^n$，记$H(X)=[h_1(X),h_2(X),\cdots,h_m(X)]^T$,在存在的前提下，其导数为：
  $$\bigtriangledown_{m\times n}H(X_0)=\begin{bmatrix} \dfrac{\partial h_1(X_0)}{\partial x_1}& \dfrac{\partial h_1(X_0)}{\partial x_2}& \cdots& \dfrac{\partial h_2(X_0)}{\partial x_n}\\ \dfrac{\partial h_2(X_0)}{\partial x_1}& \dfrac{\partial h_2(X_0)}{\partial x_2}& \cdots& \dfrac{\partial h_2(X_0)}{\partial x_n}\\ \cdots& \cdots& \cdots& \cdots\\ \dfrac{\partial h_n(X_0)}{\partial x_1}& \dfrac{\partial h_n(X_0)}{\partial x_2}& \cdots& \dfrac{\partial h_n(X_0)}{\partial x_n}\\ \end{bmatrix}$$
• 泰勒展开
  设$f:R^n\rightarrow R^1$具有二阶连续偏导数，则
  $$f(X+P)=f(X)+\bigtriangledown f(X)^T+\frac{1}{2}P^T\bigtriangledown^2f(X)P+o(||P||^2).$$
  或
  $$f(X+P)=f(X)+\bigtriangledown f(X)^T+\frac{1}{2}P^T\bigtriangledown^2f(\overline{X})P.$$
  其中$\overline{X}=X+\theta P$,而$0<\theta<1$.
• 几个公式
  
  1. n元函数求导和1元函数求导在形式上是一致的：
     例如：
     $$f(X)=\frac{1}{2}X^TAX+b^TX+c$$
     则
     $$\bigtriangledown f(X)=AX+b\\ \bigtriangledown^2 f(X)=A$$
  2. 函数梯度的Jacobi矩阵即为此函数的Hesse矩阵。
     $$\bigtriangledown _{n\times n}\bigtriangledown f(X)=\bigtriangledown^2 f(X)$$
  3. 设$\phi(t)=f(X_0+tP)$，其中$f:R^n\rightarrow R^1,\phi:R^1\rightarrow R^1$。
     则：
     $\phi^{'}(t)=\bigtriangledown f(X_0+tP)^TP$，$\phi^{''}(t)=P^T\bigtriangledown^2 f(X_0+tP)^TP$

4、极小点的判定条件

• $X^*$是局部极小点+$X^*$是内点$\Leftrightarrow \bigtriangledown f(X^*)=0$
• $\bigtriangledown f(X^*)=0$+$X^*$是内点$\Leftrightarrow X^*$是驻点

5、锥、凸集、凸锥

• 锥
  设集合$C\subset R^n.$若$\forall X\in C$及任意的数$\lambda \geq 0$，均由$\lambda X\in C$,则称C为锥。
• 凸组合
  
  更多有关内容
• 凸集
  
  特别地，规定空集是凸集。
  更多有关内容
• 半空间
  设$a \in R^n$且$a \neq 0,b\in R^1$，则集合$\{X|a^TX>b,X\in R^n\}$称为$R^n$中的半空间。
  也就是广义平面分割全空间产生的两部分。
• 几个定理
  
  1. 凸集的交集仍是凸集。
  2. 首先引入三个概念：
     锥+凸集=凸锥；凸集+闭集=闭凸集；凸锥+闭集=闭凸锥；
     有定理：
     Ⅰ C为凸集$\Leftrightarrow$$\forall X_i \in C,$及$\forall \lambda_i \geq 0(i=1,2,\cdots,k,k \geq 2),\sum_{i=1}^{k} \lambda_i=1,$有$\sum_{i=1}^{k} \lambda_iX_i \in C.$
     Ⅱ C为凸锥$\Leftrightarrow \forall X_i \in C,$及$\forall \lambda_i \geq 0(i=1,2,\cdots,k,k \geq 2),$有$\sum_{i=1}^{k} \lambda_iX_i \in C.$
     Ⅲ 有限个半空间的交为多面集。
     
• 极点
  设C为非空凸集，$X \in C$，若X不能表示成C中两个不同点的凸组合，换言之，若能表示成两点的凸组合，必有$X_1=X_2=X$，则称X是凸集C的极点。
  *类似平面凸多边形的顶点。
• 极方向
  设C为$R^n$中的闭凸集，P为非零向量，如果对C中的每一个X都有射线$\{X+\lambda P|\lambda \geq 0\} \subset C$，则称向量P为C的方向。又设$P_1$和$P_2$是C的两个方向，若对任何正数$\lambda$，有$P_1\neq \lambda P_2$，则称$P_1$和$P_2$是两个不同的方向。若C的方向P不能表示成该集合的两个不同方向的正的线性组合，则称P为C的极方向。
  -几个定理
  Ⅰ 设$C=\{X|AX=b,X\geq 0\}$为非空集合，P是非零向量，P为C的方向的充要条件是$P \geq 0$且$AP=0$。
  Ⅱ
• 凸集分离定理
  

6、凸函数

• 一系列定义与性质
  
  
  下半连续
  
• 凸函数与凸集的关系
  
  
  
• 凸规划
  
  这个结论很强的，但就是条件太苛刻。
  
  则称为二次凸规划问题。（补图上不全处）

约束问题的最优性条件

• 约束优化问题的分类
  (1) IP型
  $$minf(X),\\ s.t.g_i(X) \geq 0, i=1,2,\cdots,l.$$
  (2) EP型
  $$minf(X),\\ s.t.h_j(X) = 0, j=1,2,\cdots,m.$$
  (3) GP型
  $$minf(X),\\ s.t.\left\{\begin{matrix} g_i(X) \geq 0, i=1,2,\cdots,l.\\ h_j(X) = 0, j=1,2,\cdots,m. \end{matrix}\right.$$
• 一阶必要条件
  (1)起作用的约束与不起作用的约束
  
  (2)GP型问题的一阶必要条件（IP和EP可以看做GP的特殊情况)
  
  $\lambda^*_ig_i(X^*)=0$巧妙地体现了只考虑起作用的约束。
  (3)Kuhn-Tucker条件
  
• 二阶充分条件
  
  事实上我们遇到的函数基本没法这样去验证。