一、损失函数、代价函数和目标函数
- 损失函数:单个样本误差
- 代价函数:所有样本误差平均值
- 目标函数:代价函数+正则项
二、各模型的损失函数
1.线性回归:平方损失函数
误差符合正态分布
利用“最小二乘法”使点到线的距离和最短
2.逻辑回归:对数损失函数
极大似然估计的思想
误差符合sigmoid伯努利分布
其中yi表示正样本的概率
softmax损失函数是逻辑回归损失函数的一种推广(误差服从指数分布)
3.SVM:Hinge损失函数
- 当分类正确时,不惩罚(t≥1)
- 当分类不完全正确时,进行部分惩罚(0<t<1)
- 主要集中分类错误部分,(t<0)
- 从而极大化分类间隔
4.Adaboost:指数损失函数
yi使标签值,取值范围是(-1,1)
5.感知机
(1)优点:稳定的分类面
(2)缺点:二阶不可导,有时候不存在唯一解
6.决策树
-
∣T∣:误差大小
-
α:模型的复杂度,用叶节点数目表示,防止过拟化
-
Ht(T)表示叶子节点t的熵的期望,决策树的叶子节点集合为T
-
t叶子节点总的熵是Nt*Ht(T)