0-1损失函数:
预测值不等于真实值,为1,否则为0
对数损失函数(交叉熵):
L(Y,P(Y|X))=−logP(Y|X)
平方损失函数
指数损失函数
L(Y|f(X))=exp[−yf(x)]
Hinge损失函数 (SVM的损失函数)
L(y)=max(0,1−ty)
y是预测值,在-1到+1之间,t为目标值(-1或+1)。其含义为,y的值在-1和+1之间就可以了,并不鼓励|y|>1|y|>1,即并不鼓励分类器过度自信,让某个正确分类的样本的距离分割线超过1并不会有任何奖励,从而使分类器可以更专注于整体的分类误差