定义:
提升树是以分类树或回归树为基分类器的boosting方法。
回归问题的提升树
采用平方误差损失函数,是用当前模型去拟合数据的残差
分类问题的提升树
指数损失函数
对于二分类问题,提升树只需将Adaboost里的基分类器限制为二类分类树即可。
总结:
提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数是指数损失函数(用于分类)和平方损失函数(用于回归)时,每一步的优化都是很简单的。
然而对于一般的损失函数,往往每一步的优化并不简单。因此梯度提升算法诞生了。
定义:
提升树是以分类树或回归树为基分类器的boosting方法。
回归问题的提升树
采用平方误差损失函数,是用当前模型去拟合数据的残差
分类问题的提升树
指数损失函数
对于二分类问题,提升树只需将Adaboost里的基分类器限制为二类分类树即可。
总结:
提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数是指数损失函数(用于分类)和平方损失函数(用于回归)时,每一步的优化都是很简单的。
然而对于一般的损失函数,往往每一步的优化并不简单。因此梯度提升算法诞生了。