我们一般对函数求导，是对单变量求导，但是在机器学习中，会遇到多元函数对向量求导的情况，比如：
$f(\vec{w})=\frac{1}{2}||\vec{w}||^2$其中， $\vec{w}=(w_1,w_2,\cdots,w_n)$

我们会看到在数学公式推导中会遇到函数对向量的求导：

$\frac{\partial f(\vec{w})}{\partial \vec{w}} = \frac{\frac{1}{2}(w^2_1+w^2_2+\cdots+w^2_n)}{\partial \vec{w}}$ $= \frac{\frac{1}{2}(w^2_1+w^2_2+\cdots+w^2_n)}{\partial (w_1,w_2,\cdots,w_n)}$ $=(\frac{\partial{f(\vec{w})}}{\partial{w_1}},\frac{\partial{f(\vec{w})}}{\partial{w_2}},\cdots,\frac{\partial{f(\vec{w})}}{\partial{w_n}})$ $=(w_1,w_2,\cdots,w_n)=\vec{w}$

所以我们可以看出，一个函数对于一个向量求导，得到一个向量，这个向量的每一维，相当于是这个函数对原始向量的每一维上的变量进行求导，本质上就是求了 $f(\vec{w})$关于 $\vec{w}$的梯度 $\nabla{f(\vec{w})}$。