决策树生长的核心在于如何选择最优特征作为当前结点分割的特征。
当决策树如此生长完成后,对训练集程度会很好,但是对测试集一般都会出现高方差、过拟合的现象,如何预防这种现象,就是之前提到的预剪枝、后剪枝方法。
而剪枝过程换个方法来讲,其实就是在优化降低Loss function的的过程。
Loss function
设决策树T的叶节点个数为, 是树的叶节点,该叶节点有个样本点,其中 k 类的样本点有个,,
为该叶节点的信息熵,为参数,则决策树学习的损失函数可以定义为:
-----------李航,《统计学习方法》
公式翻译过来,就是每个叶子节点的 样本点数量 * 该结点的信息熵,再加上一个正则项。
优化之……