机器学习系列,决策树,三种节点数构建的方法实例地址,ID3 C4.5 CART

Cart https://www.cnblogs.com/zhangchaoyang/articles/2709922.html
定义:基尼指数(基尼不纯度):表示在样本集合中一个随机选中的样本被分错的概率(小好)。
注意: Gini指数越小表示集合中被选中的样本被分错的概率越小,也就是说集合的纯度越高,反之,集合越不纯。
即 基尼指数(基尼不纯度)= 样本被选中的概率 * 样本被分错的概率
书中公式:

C4.5信息增益比 https://www.cnblogs.com/muzixi/p/6566803.html
本质: 是在信息增益的基础之上乘上一个惩罚参数。特征个数较多时,惩罚参数较小;特征个数较少时,惩罚参数较大。
信息增益比 = 惩罚参数 * 信息增益
因此在决定分界点是还是采用增益这个指标,而选择属性的时候才使用增益率这个指标。这个改进能够很好得抑制连续值属性的倾向
http://blog.sina.com.cn/s/blog_68ffc7a40100urn3.html

ID3 信息增益 http://www.cnblogs.com/zhangchaoyang/articles/2196631.html

猜你喜欢

转载自blog.csdn.net/m0_37192554/article/details/88530974