6 对分类器的提升

1.GDBT 对决策树加权

其实就是每次计算下一步的时候,挑选那个让损失函数最小的f(x)来对决策树进行优化

1.1基本原理和目标函数

在这里插入图片描述
在这里插入图片描述

一个决策树的核心是树的结构和叶的权值
在这里插入图片描述

在这里插入图片描述

1.2 正则项的定义

让叶子节点的个数,和权值进入,可以在一定程度上防止过拟合在这里插入图片描述

1.3 对目标函数的简化(拿到目标函数的最小值)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.4 自己的一点理解

关于XGBoost是对一个决策树进行提升,但由于目标韩硕过于复杂,无法进行求导,因此通过泰勒展开对函数进行描述,最后求导。这个思想非常类似于梯度下降算法
至于一直当做变量的f(x)实际的意义在于对数据集进行了划分。

2.Adaboost 其实是对决策树中叶子节点的加权

2.1 初始化叶子权值

在这里插入图片描述

2.2 对分类错误节点权值的计算

至于a为啥那么定义那,其实就是如果分类的正确率很高的话,可以相应的提高权值
在这里插入图片描述

2.3 更新权值

在这里插入图片描述

2.4 最终分类函数是多次的加权后的加和在这里插入图片描述

2.5 小栗子

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发布了17 篇原创文章 · 获赞 0 · 访问量 280

猜你喜欢

转载自blog.csdn.net/DropJing/article/details/105205656