版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/KangRoger/article/details/59200996
损失函数是机器学习中用来衡量模型预测值
第一项是经验风险,后面是正则化项,正则化项通常有L1正则化和L2正则化,这里不考虑正则化项,只考虑经验风险项,损失函数通常由以下几种:
平方损失函数
平方损失函数常用在最小二乘法中。它的思想是使得各个训练点到最优拟合线的距离最小(平方和最小)。平方损失函数定义如下:
对数损失函数
对于逻辑回归
逻辑回归,标签
综合起来,可以得到
这只是二分类的情况,如果是多分类,则用到Softmax,,假设有k类,对应每个类别的概率分别为:
那么损失函数为
Hinge损失函数
SVM分类器中,常常使用hinge loss函数,用来最大化“分类间隔”。加上正确类别为
其中