AdaBoost: 加法模型,指数损失函数,使用前向分步算法求解模型参数。
目标是使前向分步算法得到的
和
使
在训练集上的指数损失最小。
其中
。
证明过程请见笔者AdaBoost文章。
加法模型,前向分步算法,当是平方损失或指数损失时,每一步的优化很简单。但是对于一般损失函数而言,使用前向分步算法的每一步优化并不容易。因此提出了梯度提升算法。
GBDT和Adaboost的不同:
Adaboost是通过提高错分样本的权重来定位模型的不足
GBDT是通过负梯度来定位模型的不足,因此GBDT可以使用更多种类的损失函数