第三章 决策树(代码)
决策树算法优缺点
- 优点:计算复杂度不高,输出结果易于理解,对中间值不明干,可以处理不想管特征数据。
- 缺点:可能会产生过度匹配。
- 范围:数值型和标称型。
信息增益
- 原则: 将无序的数据变得更加有序。
- 在划分数据集之前之后信息发生的变化
- 熵: 信息的期望值,或者集合信息的度量方式。
熵
- 若数据都为一类,那么
H=-1*log2(1)=0,
不用任何信息就能区分这个数据。 - 如有一枚正反两面硬币,分为正面或者反面的概率都为
0.5, H= -0.5log2(0.5) - 0.5log2(0.5) = 1,
需要一个单位比特信息区分是否是正面或者反面,也即0或者1。 - 熵,代表信息的混乱度信息。其基本作用就是消除人们对事物的不确定性。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。
- 具体地可参考《信息论》。
- 若数据都为一类,那么
划分数据集
- 将每个特征划分数据集的结果计算一次信息熵,然后判断按照哪个特征划分数据集是最好的划分方式。
递归构建决策树
工作原理:得到原始数据集,基于最好的属性值划分数据集,第一次划分后,再次划分数据。因此可以递归处理数据集。
递归结束的条件:划分数据集所有属性,或者每个分支下的所有实例都具有相同的分类。
如果数据集已经处理了所有属性,但是类标签依然不是唯一的,此时我们通常采用多数表决的方法决定该叶子节点的分类。
测试算法:使用决策树执行分类
- 执行分类时,需要使用决策树以及用于决策树的标签向量。
- 测试数据与决策树上的数值,递归执行该过程直到进入叶子节点。
- 最后将测试数据定义为叶子节点所属的属性。
使用算法:决策树的存储
- 为了节约时间和节省内存消耗,使用了pickle模块序列化对象。
例子:使用决策树预测隐形眼睛类型
目标:通过决策树预测患者需要佩戴的隐形眼睛类型。
>> fr = open('lensens.txt')
>> lenses = [inst.strip().split('\t') for inst in fr.readlines()]
>> lenseslabels = ['age', 'prescipt', 'astigmatic', 'tearRate']
>> lensestree = trees.create_tree(lenses, lenseslabels)
>> lensestree
>> treePlotter.create_plot(lensestree)
小节
这里主要是采用ID3算法划
分数据集,用递归的方法将数据集转化为决策树,并可用pickle模块存
储决策树的结构。ID3算法无法处理直接数值型数据,需要将其化为标量型数值。决策树最大的缺点在于过拟合问题
。在构建树的时候,其能够完全匹配实验数据,但是这并不是我们想要的,为此,可以删掉一些只增加了很少信息的节点,将其并入到其他叶子节点中,或者裁剪一些分支。具体决策树的很多问题也待整理。