决策树 概述
决策树(Decision Tree)算法是一种基本的分类与回归方法,是最经常使用的数据挖掘算法之一。我们这章节只讨论用于分类的决策树。
决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。
决策树学习通常包括 3 个步骤:特征选择、决策树的生成和决策树的修剪。
决策树 场景
决策树的定义:
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型:内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性(features),叶结点表示一个类(labels)。
用决策树对需要测试的实例进行分类:从根节点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到其子结点;这时,每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配,直至达到叶结点。最后将实例分配到叶结点的类中。
决策树 原理
决策树 须知概念
信息熵 & 信息增益
熵(entropy): 熵指的是体系的混乱的程度,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量。
信息论(information theory)中的熵(香农熵): 是一种信息的度量方式,表示信息的混乱程度,也就是说:信息越有序,信息熵越低。例如:火柴有序放在火柴盒里,熵值很低,相反,熵值很高。
信息增益(information gain): 在划分数据集前后信息发生的变化称为信息增益。
决策树 工作原理
如何构造一个决策树?
我们使用 createBranch() 方法,如下所示:
def createBranch():
'''
此处运用了迭代的思想。 感兴趣可以搜索 迭代 recursion, 甚至是 dynamic programing。
'''
检测数据集中的所有数据的分类标签是否相同:
If so return 类标签
Else:
寻找划分数据集的最好特征(划分之后信息熵最小,也就是信息增益最大的特征)
划分数据集
创建分支节点
for 每个划分的子集
调用函数 createBranch (创建分支的函数)并增加返回结果到分支节点中
return 分支节点
决策树 开发流程
收集数据:可以使用任何方法。
准备数据:树构造算法 (这里使用的是ID3算法,只适用于标称型数据,这就是为什么数值型数据必须离散化。 还有其他的树构造算法,比如CART)
分析数据:可以使用任何方法,构造树完成之后,我们应该检查图形是否符合预期。
训练算法:构造树的数据结构。
测试算法:使用训练好的树计算错误率。
使用算法:此步骤可以适用于任何监督学习任务,而使用决策树可以更好地理解数据的内在含义。
决策树 算法特点
优点:计算复杂度不高,输出结果易于理解,数据有缺失也能跑,可以处理不相关特征。
缺点:容易过拟合。
适用数据类型:数值型和标称型。
项目案例1: 判定鱼类和非鱼类
项目概述
根据以下 2 个特征,将动物分成两类:鱼类和非鱼类。
特征:
- 在水中是否可以生存
- 是否有脚蹼
开发流程
收集数据:可以使用任何方法
准备数据:树构造算法(这里使用的是ID3算法,因此数值型数据必须离散化。)
分析数据:可以使用任何方法,构造树完成之后,我们可以将树画出来。
训练算法:构造树结构
测试算法:使用习得的决策树执行分类
使用算法:此步骤可以适用于任何监督学习任务,而使用决策树可以更好地理解数据的内在含义
收集数据:可以使用任何方法
dataSet = [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']] # labels 露出水面 脚蹼,注意:这里的labels是写的 dataSet 中特征的含义,并不是对应的分类标签或者说目标变量 labels = ['no surfacing', 'flippers']
准备数据:树构造算法
此处,由于我们输入的数据本身就是离散化数据,所以这一步就省略了。
分析数据:可以使用任何方法,构造树完成之后,我们可以将树画出来。
计算给定数据集的香农熵的函数
from math import log def calcShannonEnt(dataSet): """ Desc: calculate Shannon entropy -- 计算给定数据集的香农熵 Args: dataSet -- 数据集 Returns: shannonEnt -- 返回 每一组 feature 下的某个分类下,香农熵的信息期望 """ # -----------计算香农熵的第一种实现方式start-------------------------------------------------------------------------------- # 求list的长度,表示计算参与训练的数据量 numEntries = len(dataSet) # 下面输出我们测试的数据集的一些信息 # 计算分类标签label出现的次数 labelCounts = {} # the the number of unique elements and their occurance for featVec in dataSet: # 将当前实例的标签存储,即每一行数据的最后一个数据代表的是标签 currentLabel = featVec[-1] # 为所有可能的分类创建字典,如果当前的键值不存在,则扩展字典并将当前键值加入字典。每个键值都记录了当前类别出现的次数。 if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 # 对于label标签的占比,求出label标签的香农熵 shannonEnt = 0.0 for key in labelCounts: # 使用所有类标签的发生频率计算类别出现的概率。 prob = float(labelCounts[key]) / numEntries # 计算香农熵,以 2 为底求对数 shannonEnt -= prob * log(prob, 2) # -----------计算香农熵的第一种实现方式end-------------------------------------------------------------------------------- # # -----------计算香农熵的第二种实现方式start-------------------------------------------------------------------------------- # # 统计标签出现的次数 # label_count = Counter(data[-1] for data in dataSet) # # 计算概率 # probs = [p[1] / len(dataSet) for p in label_count.items()] # # 计算香农熵 # shannonEnt = sum([-p * log(p, 2) for p in probs]) # # -----------计算香农熵的第二种实现方式end-------------------------------------------------------------------------------- return shannonEnt
按照给定特征划分数据集
将指定特征的特征值等于 value 的行剩下列作为子数据集。
def splitDataSet(dataSet, index, value): """ Desc: 划分数据集 splitDataSet(通过遍历dataSet数据集,求出index对应的colnum列的值为value的行) 就是依据index列进行分类,如果index列的数据等于 value的时候,就要将 index 划分到我们创建的新的数据集中 Args: dataSet -- 数据集 待划分的数据集 index -- 表示每一行的index列 划分数据集的特征 value -- 表示index列对应的value值 需要返回的特征的值。 Returns: index 列为 value 的数据集【该数据集需要排除index列】 """ # -----------切分数据集的第一种方式 start------------------------------------ retDataSet = [] for featVec in dataSet: # index列为value的数据集【该数据集需要排除index列】 # 判断index列的值是否为value if featVec[index] == value: # chop out index used for splitting # [:index]表示前index行,即若 index 为2,就是取 featVec 的前 index 行 reducedFeatVec = featVec[:index] ''' 请百度查询一下: extend和append的区别 list.append(object) 向列表中添加一个对象object list.extend(sequence) 把一个序列seq的内容添加到列表中 1、使用append的时候,是将new_media看作一个对象,整体打包添加到music_media对象中。 2、使用extend的时候,是将new_media看作一个序列,将这个序列和music_media序列合并,并放在其后面。 result = [] result.extend([1,2,3]) print(result) result.append([4,5,6]) print(result) result.extend([7,8,9]) print(result) 结果: [1, 2, 3] [1, 2, 3, [4, 5, 6]] [1, 2, 3, [4, 5, 6], 7, 8, 9] ''' reducedFeatVec.extend(featVec[index+1:]) # [index+1:]表示从跳过 index 的 index+1行,取接下来的数据 # 收集结果值 index列为value的行【该行需要排除index列】 retDataSet.append(reducedFeatVec) # -----------切分数据集的第一种方式 end------------------------------------ # # -----------切分数据集的第二种方式 start------------------------------------ # retDataSet = [data[:index] + data[index + 1:] for data in dataSet # for i, v in enumerate(data) if i == index and v == value] # # -----------切分数据集的第二种方式 end------------------------------------ return retDataSet
选择最好的数据集划分方式
def chooseBestFeatureToSplit(dataSet): """ Desc: 选择切分数据集的最佳特征 Args: dataSet -- 需要切分的数据集 Returns: bestFeature -- 切分数据集的最优的特征列 """ # -----------选择最优特征的第一种方式 start------------------------------------ # 求第一行有多少列的 Feature, 最后一列是label列嘛 numFeatures = len(dataSet[0]) - 1 # label的信息熵 baseEntropy = calcShannonEnt(dataSet) # 最优的信息增益值, 和最优的Featurn编号 bestInfoGain = 0.0 bestFeature = -1 # iterate over all the features for i in range(numFeatures): # create a list of all the examples of this feature # 获取每一个实例的第i+1个feature,组成list集合 featList = [example[i] for example in dataSet] # get a set of unique values # 获取剔重后的集合,使用set对list数据进行去重 uniqueVals = set(featList) # 创建一个临时的信息熵 newEntropy = 0.0 # 遍历某一列的value集合,计算该列的信息熵 # 遍历当前特征中的所有唯一属性值,对每个唯一属性值划分一次数据集,计算数据集的新熵值,并对所有唯一特征值得到的熵求和。 for value in uniqueVals: subDataSet = splitDataSet(dataSet, i, value) prob = len(subDataSet) / float(len(dataSet)) newEntropy += prob * calcShannonEnt(subDataSet) # gain[信息增益]: 划分数据集前后的信息变化, 获取信息熵最大的值 # 信息增益是熵的减少或者是数据无序度的减少。最后,比较所有特征中的信息增益,返回最好特征划分的索引值。 infoGain = baseEntropy - newEntropy print('infoGain=', infoGain, 'bestFeature=', i, baseEntropy, newEntropy) if infoGain > bestInfoGain: bestInfoGain = infoGain bestFeature = i return bestFeature # -----------选择最优特征的第一种方式 end------------------------------------ # # -----------选择最优特征的第二种方式 start------------------------------------ # # 计算初始香农熵 # base_entropy = calcShannonEnt(dataSet) # best_info_gain = 0 # best_feature = -1 # # 遍历每一个特征 # for i in range(len(dataSet[0]) - 1): # # 对当前特征进行统计 # feature_count = Counter([data[i] for data in dataSet]) # # 计算分割后的香农熵 # new_entropy = sum(feature[1] / float(len(dataSet)) * calcShannonEnt(splitDataSet(dataSet, i, feature[0])) \ # for feature in feature_count.items()) # # 更新值 # info_gain = base_entropy - new_entropy # print('No. {0} feature info gain is {1:.3f}'.format(i, info_gain)) # if info_gain > best_info_gain: # best_info_gain = info_gain # best_feature = i # return best_feature # # -----------选择最优特征的第二种方式 end---------
创建树的函数代码如下:
def createTree(dataSet, labels): """ Desc: 创建决策树 Args: dataSet -- 要创建决策树的训练数据集 labels -- 训练数据集中特征对应的含义的labels,不是目标变量 Returns: myTree -- 创建完成的决策树 """ classList = [example[-1] for example in dataSet] # 如果数据集的最后一列的第一个值出现的次数=整个集合的数量,也就说只有一个类别,就只直接返回结果就行 # 第一个停止条件:所有的类标签完全相同,则直接返回该类标签。 # count() 函数是统计括号中的值在list中出现的次数 if classList.count(classList[0]) == len(classList): return classList[0] # 如果数据集只有1列,那么最初出现label次数最多的一类,作为结果 # 第二个停止条件:使用完了所有特征,仍然不能将数据集划分成仅包含唯一类别的分组。 if len(dataSet[0]) == 1: # 此处是有递归 return majorityCnt(classList) # 选择最优的列,得到最优列对应的label含义 bestFeat = chooseBestFeatureToSplit(dataSet) # 获取label的名称 bestFeatLabel = labels[bestFeat] # 初始化myTree myTree = {bestFeatLabel: {}} # 注:labels列表是可变对象,在PYTHON函数中作为参数时传址引用,能够被全局修改 # 所以这行代码导致函数外的同名变量被删除了元素,造成例句无法执行,提示'no surfacing' is not in list del(labels[bestFeat]) # 取出最优列,然后它的branch做分类 featValues = [example[bestFeat] for example in dataSet] uniqueVals = set(featValues) for value in uniqueVals: # 求出剩余的标签label subLabels = labels[:] # 遍历当前选择特征包含的所有属性值,在每个数据集划分上递归调用函数createTree() myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels) # print('myTree', value, myTree) return myTree
测试算法:使用决策树执行分类
def classify(inputTree, featLabels, testVec): """ Desc: 对新数据进行分类 Args: inputTree -- 已经训练好的决策树模型 featLabels -- Feature标签对应的名称,不是目标变量 testVec -- 测试输入的数据 Returns: classLabel -- 分类的结果值,需要映射label才能知道名称 """ # 获取tree的根节点对于的key值 firstStr = list(inputTree.keys())[0] # 通过key得到根节点对应的value secondDict = inputTree[firstStr] # 判断根节点名称获取根节点在label中的先后顺序,这样就知道输入的testVec怎么开始对照树来做分类 featIndex = featLabels.index(firstStr) # 测试数据,找到根节点对应的label位置,也就知道从输入的数据的第几位来开始分类 key = testVec[featIndex] valueOfFeat = secondDict[key] print('+++', firstStr, 'xxx', secondDict, '---', key, '>>>', valueOfFeat) # 判断分枝是否结束: 判断valueOfFeat是否是dict类型 if isinstance(valueOfFeat, dict): classLabel = classify(valueOfFeat, featLabels, testVec) else: classLabel = valueOfFeat return classLabel