hinge loss:支持向量机损失函数
1.对于训练集中的第
i张图片数据
xi,在
W下会有一个得分结果向量
f(xi,W);
2.第
j类的得分我们记作
f(xi,W)j;
3.则在该样本上的损失,我们由下列的公式可以计算得到
Li=j̸=yi∑max(0,f(xi,W)j−f(xi,W)yi+△)(1)
建设我们现在有三个类别,而得分函数计算某张图片的得分为
f(xi,W)=[13,−7,11],而实际的结果是第一类(
yi=0)。假设
△=10,上面的公式把错误类别(
j不等于
yi)都遍历类一遍。求值加和:
Li=max(0,−7−13+10)+max(0,11−13+10)(2)
其中,
△相当于SVM中的分离“道”的宽度。
因为是线性模型,因此可以简化成:
Li=j̸=yi∑max(0,wjTxi−wyiTxi+△)(3)
加正则化项
L=N1i∑Li+λR(W)(4)其中
N1∑iLi为data loss,
λR(W)为正则化损失。
将(4)式展开得:
L=N1i∑j̸=yi∑[max(0,f(xi;W)j−f(xi;W)yi+△)]+λk∑l∑
正确分类的分值越大越好,错误分类的分值越小越好。