1、目录
2、前言
最近被问到一些机器学习模型的损失函数,虽然经常使用,竟然记得不怎么准确,今天来梳理复习一下。后续继续补充。
3、模型
1)感知机
感知机就是求出一个超平面,划分正负样本集。损失函数就是所有误分点到超平面的总距离:
−1||w||∑xi∈Myi(w⋅xi+b)
2)SVM
SVM俗称支持向量机,其损失函数由两部分组成:“经验损失函数”和“正则化项”。
minw,b∑i=1N[1−yi(w⋅xi+b)]++λ∥w∥2
其中,经验损失函数也可以称为合页损失函数(hinge loss function),下标“+”表示取正值的函数。
3)LR
LR俗称逻辑回归,其损失函数就是对数似然函数。假设
P(Y=1|x)=π(x)
,
P(Y=0|x)=1−π(x)
,那么似然函数就是
∏i=1N[π(xi)]yi[1−π(xi)]1−yi
,因此损失函数就是:
L(w)=∑i=1N[yilogπ(xi)+(1−yi)log(1−π(xi))]
=∑i=1N[yi(w⋅xi)−log(1+exp(w⋅xi)]