Gradient Boosting Machines
1、Machines:机器学习模型 - 对数据的产生规律建模
2、Boosting Machines - 弱学习器组合成强学习器/模型
3、Gradient Boosting Machines - 根据梯度下降方式组合弱学习器
Machines:
1、Machines:机器学习模型,建模数据产生规律 - 最小化目标函数
2、目标函数通常包含两个部分
a、损失函数:与任务有关(选择与训练数据匹配最好的模型)
回归:残差平方
分类:0-1损失、logistic损失、合叶损失(SVM)
b、正则化:与模型复杂度有关(选择最简单的模型)
L1正则
L2正则
Boosting Machines
boosting:将弱学习器组合成强学习器
弱学习器:比随机猜测性能好的学习器
常用弱学习器:决策树/分类回归树
决策树:每个叶子节点对应一个决策
分类回归树:每个叶子节点有个预测分数(score),比决策树更灵活
Adaptive Boosting(AdaBoost): 第一个Boosting算法
弱分类器:只有一个分裂的决策树
----if feature_value > t,output 1;otherwise output 0
对当前分类器不能处理的样本,增加其权重
不断的加入新的弱学习器,直到达到终止条件
----强学习器:弱学习器的加权线性组合,权重与其正确率有关