问题:
给出代价函数J(θ),需要最小化J(θ)
给出初始θ后,我们需要反复计算
\[J\left( \theta \right)\]
\[\frac{\partial }{{\partial {\theta _j}}}J\left( \theta \right)\]
梯度下降算法:
重复{
\[{\theta _j}: = {\theta _j} - \alpha \frac{\partial }{{\partial {\theta _j}}}J\left( \theta \right)\]
}
优化算法有
- Conjugate gradient
- BFGS
- L-BFGS
这三个算法的优势有
- 不需要人工选择α
- 通常比梯度下降算法更快
缺点
- 更复杂