梯度法
- 推到矩阵的出发点始考虑如何极小化函数的整体值
- 应该清楚是寻找量与结果量之间的关系
- 例如我们极小化下列函数
y = 1/2*x.T*A*x-x.T*b - 我们的策略是寻找一个x向量使得y的值达到最小，因而我们可以对x进行求反向梯度进而运算。
梯度法算法
- x0= 初值
- 梯度值r0= b-A*x0
- k= 0
- while rk ！= 0
- k= k+1
- ＆k = r(k-1).t * r(k-1) / r(k-1).t * A * r(k-1)
- xk = x(k-1)+＆k*r(k-1 )
- rk = b-A*xk
- end
机器学习找w
- 在Svm中，我们是寻找最好W的权重，使得得出的结果为最小值即loss函数值最小。
- 按照上述思想我们的寻找量为W，结果量为loss，则我们是寻找最好的w过程
- 求W的梯度，然后加到w上，进而迭代计算，直到结果值收敛，或者梯度为零（此处收敛判断不严谨，应适时考虑）