所有优化模型都是通过求导才能进行优化,笔记来源李沐老师。
一、标量求导,导数就是切线的斜率
二、亚倒数
三、梯度
1.情况一:y是标量而x是向量,梯度指向变化值最大的方向
<>代表内积
2.情况2,y是标量,x是列向量
3.情况三,x,y都是向量,会变成矩阵
所有优化模型都是通过求导才能进行优化,笔记来源李沐老师。
一、标量求导,导数就是切线的斜率
二、亚倒数
三、梯度
1.情况一:y是标量而x是向量,梯度指向变化值最大的方向
<>代表内积
2.情况2,y是标量,x是列向量
3.情况三,x,y都是向量,会变成矩阵