这是我参与11月更文挑战的第17天,活动详情查看:2021最后一次更文挑战
title: date: 2020-12-15 23:51:25 tags: [Machine_Learning] categories: [Machine_Learning] mathjax: true
在确定了可优化二次型的类型后,本文讨论二次型的优化方法。
当前问题
-
解方程
-
其中 为半正定矩阵
-
的秩与其增广矩阵 的秩相等
优化方法
代数法
高斯消元法
- 在 的行列式不为0时,可以逐项消除半边系数,得到三角阵,计算得到 再逐步带入计算出其他未知数,得到计算结果。
\begin{equation} \begin{split} {a_{11}}{x_1} + {a_{12}}{x_2} + \cdots {a_{1n}}{x_n} = {b_1}\\\\ {a_{22}}{x_2} + \cdots {a_{2n}}{x_n} = {b_2}\\\\ \vdots \\\\ {a_{nn}}{x_n} = {b_n} \end{split} \end{equation}
- 其他代数方法在高斯消元法基础上进行改进
高斯主元素消元法
- 为解决无法面对主元素为0或主元素绝对值过小带来的精度不够的问题,提出了主元素消元
- 核心思想是选择系数绝对值最大的行作为基准进行消元,可以有效缓解上述问题
矩阵求逆
- 对于矩阵 可逆的情况,可以直接求出 的逆矩阵,则:
迭代法
代数法的时间复杂度都在 的数量级上,在实践中难以接受;
迭代法的思想是可以每次贪心地计算局部最优解,逐步向全局最优解逼近
最速下降法/梯度法
- 沿着当前梯度的反方向前进至方向梯度为0,重新计算当前位置的梯度,重新出发
- 不断重复该过程,直到精度满足要求
共轭梯度法
- 沿着共轭梯度方向前进该共轭基的分量大小的距离
- 在所有共轭基上重复上述操作,即可达到全局最优解
随后我们重点介绍迭代法相关内容