1.GDBT 对决策树加权
其实就是每次计算下一步的时候,挑选那个让损失函数最小的f(x)来对决策树进行优化
1.1基本原理和目标函数
一个决策树的核心是树的结构和叶的权值
1.2 正则项的定义
让叶子节点的个数,和权值进入,可以在一定程度上防止过拟合
1.3 对目标函数的简化(拿到目标函数的最小值)
1.4 自己的一点理解
关于XGBoost是对一个决策树进行提升,但由于目标韩硕过于复杂,无法进行求导,因此通过泰勒展开对函数进行描述,最后求导。这个思想非常类似于梯度下降算法
至于一直当做变量的f(x)实际的意义在于对数据集进行了划分。
2.Adaboost 其实是对决策树中叶子节点的加权
2.1 初始化叶子权值
2.2 对分类错误节点权值的计算
至于a为啥那么定义那,其实就是如果分类的正确率很高的话,可以相应的提高权值
2.3 更新权值
2.4 最终分类函数是多次的加权后的加和
2.5 小栗子