总的来说，涉及矩阵和向量的求导不外乎五大类别，
- 向量对标量
- 标量对向量
- 向量对向量
- 矩阵对标量
- 标量对矩阵
- 向量对标量求导
- 分子布局
在分子布局下表示为，
而在分母布局下表示为，
2.标量对向量求导
3.向量对向量求导
4.标量对矩阵求导
5.矩阵对标量求导
总结，凡是对标量求导，结果的形式都要转置，而标量对向量和矩阵求导则位置保持
不动。这样总结方便我们记忆。
一些常见的求导：
首先，有矩阵A,和向量x
注意到，
于是利用向量对向量求导法则，我们有：
同理，
