损失函数(Loss function)是定义在单个训练样本的损失/误差，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的哦，用L表示。
代价函数(Cost function)是定义在整个训练集整体的误差描述，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。
-
分类问题：
交叉熵，折页损失函数（SVM）
-
回归：
均方误差（MSE）
-
对象检测或分割：
交叉比（IoU）
-
策略优化：
KL散度
-
词嵌入：
噪音对比估计（NCE）
-
词向量：
余弦相似度