loss function
MSE
- mean square error，即均方根误差，即
MAE
- mean absolute error，即平均绝对值误差，即
cross entropy
- 二分类：以logistic回归为代表
- 多分类：以softmax loss为代表，每个样本的loss为
smooth L1 loss
- 公式如下：
是scaler系数，一般设置为1。这个在bounding box regression loss中常用。
KL散度(kullback_leiber_divergence)
- 指的是两个概率分布P和Q差别的非对称性的度量。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、模型分布或P的近似分布。
- 参考链接：https://zhuanlan.zhihu.com/p/28047686