在固定的条件下，求一个最值，这类问题都是优化问题。
- 一条直线在某个定义域内的最值
- 抛物线在整个定义域的最值
- 多元函数的某个变量的最值
无非是模拟一个多元空间，求取一个或者几个数据的最值。
研究这类问题有两个步骤：
- 问题建模
- 优化算法
机器学习的建模
太极生两仪，两仪生四象，四象生万物。
判别是非的能力，是最基础的二进制方式，是与否。
多少个是与否组成了更加复杂的逻辑判断的准则。
- 对曲线与直线的判断
- 对封闭与开放的判断
- 对人脸与非人脸的判断
我们用数学语言去描述这类问题：
,
和
可以是非常复杂的。让人脑无法判断具体的
的时候，我们可以引用机器学习，来训练出优化模型。
常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法。
- 二进制分类：邮件->（非）垃圾邮件
- 回归：位置，年份->房价
梯度下降
最早最简单的优化方法，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局解，梯度下降的速度也未必是最快的。
优化思想：当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向。
在机器学习中，基于基本的梯度下降法发展了两个梯度下降法：（1）随机梯度下降法（2）批量梯度下降法