1. 线性最小二乘法

$$model:{\mathbf{y}}_c(\mathbf{x})=\mathbf{A}\mathbf{x}$$

$$objectivefunction:f(\mathbf{x})=\frac{1}{2}||{\mathbf{y}}_s-{\mathbf{y}}_c(\mathbf{x})|{|}^2=\frac{1}{2}||{\mathbf{y}}_s-\mathbf{A}\mathbf{x}|{|}^2$$

$$f^{\prime }(\mathbf{x})=(-{\mathbf{A}}^T)({\mathbf{y}}_s-\mathbf{A}\mathbf{x})=\text{0}$$

$$\mathbf{x}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T{\mathbf{y}}_s$$

不需要迭代计算

2. 非线性优化（梯度下降法）

$$model:{\mathbf{y}}_c(\mathbf{x})=g(\mathbf{x}),\frac{\partial {\mathbf{y}}_c(\mathbf{x})}{\partial \mathbf{x}}=\mathbf{J}(\mathbf{x})$$

$$objectivefunction:f(\mathbf{x})=\frac{1}{2}||{\mathbf{y}}_s-{\mathbf{y}}_c(\mathbf{x})|{|}^2=\frac{1}{2}||{\mathbf{y}}_s-g(\mathbf{x})|{|}^2$$

$$\mathbf{d}=f^{\prime }(\mathbf{x})=-g^{\prime }(\mathbf{x})({\mathbf{y}}_s-g(\mathbf{x}))=-g^{\prime }(\mathbf{x})e$$

$${\mathbf{x}}_{(t+1)}={\mathbf{x}}_{(t)}+\alpha \cdot \mathbf{d}$$

3. 非线性优化（牛顿法）

$$model:{\mathbf{y}}_c(\mathbf{x})=g(\mathbf{x}),\frac{\partial {\mathbf{y}}_c(\mathbf{x})}{\partial \mathbf{x}}=\mathbf{J}(\mathbf{x})$$

$$model泰勒展开:{\mathbf{y}}_c({\mathbf{x}}_{(t+1)})={\mathbf{y}}_c({\mathbf{x}}_{(t)}+\mathbf{\delta })={\mathbf{y}}_c({\mathbf{x}}_{(t)})+\mathbf{J}({\mathbf{x}}_{(\mathbf{t})})\mathbf{\delta }$$

$$objectivefunction:f({\mathbf{x}}_{(t+1)})=\frac{1}{2}||{\mathbf{y}}_{s(t+1)}-{\mathbf{y}}_c({\mathbf{x}}_{(t+1)})|{|}^2=\frac{1}{2}||{\mathbf{y}}_{s(t+1)}-{\mathbf{y}}_c({\mathbf{x}}_{(t)})-\mathbf{J}({\mathbf{x}}_{(\mathbf{t})})\mathbf{\delta }|{|}^2=\frac{1}{2}||\mathbf{e}-\mathbf{J}({\mathbf{x}}_{(\mathbf{t})})\mathbf{\delta }|{|}^2$$

$$f(\mathbf{x}{)}^{\prime }{|}_{\mathbf{\delta }}=(-{\mathbf{J}(\mathbf{x})}^T)(\mathbf{e}-\mathbf{J}(\mathbf{x})\mathbf{\delta })=\text{0}$$

$$\mathbf{\delta }=({\mathbf{J}(\mathbf{x})}^T\mathbf{J}(\mathbf{x}){)}^{-1}{\mathbf{J}(\mathbf{x})}^T\mathbf{e}$$

$${\mathbf{x}}_{(t+1)}={\mathbf{x}}_{(t)}+\mathbf{\delta }$$

4. 非线性优化（LM）

将上式 $\mathbf{\delta }=({\mathbf{J}(\mathbf{x})}^T\mathbf{J}(\mathbf{x}){)}^{-1}{\mathbf{J}(\mathbf{x})}^T\mathbf{e}$ 中的 ${\mathbf{J}(\mathbf{x})}^T\mathbf{J}(\mathbf{x})$ 换成 ${\mathbf{J}(\mathbf{x})}^T\mathbf{J}(\mathbf{x})+\lambda \mathbf{I}$，选择足够大的 $\lambda$ 来确保 ${\mathbf{J}(\mathbf{x})}^T\mathbf{J}(\mathbf{x})+\lambda \mathbf{I}$ 始终为正定矩阵，可逆。当 $\lambda$ 减小，LM近似牛顿法，当 $\lambda$ 增大，LM近似梯度下降法。

5. 有约束非线性优化（LM）

罚函数法的思想是借助惩罚函数将约束问题转化为无约束问题进行求解。

形如以下优化问题：

$$\begin{array}{rl}min& f(x)\\ s.t.& h_i(x)=0,i=1,2,\cdots ,n.\\ & g_j(x)\ge 0,j=1,2,\cdots ,m.\end{array}$$

构造带罚项目标函数：

$$minF(x)=f(x)+M\left(\sum _{i=1}^n[h_i(x){]}^2+\sum _{j=1}^m[min(0,g_j(x)){]}^2\right)$$