3.2 决策树
李沐
B站:https://space.bilibili.com/1567748478/channel/collectiondetail?sid=28144
课程主页:https://c.d2l.ai/stanford-cs329p/
1. 决策树
决策树即是使用树状结构来做决策。可以分为分类树和回归树。
左边为分类的例子,输出就是类别,标签等。
右边为回归例子,输出不再是类别了,而是具体的数据,目的就是预测出房价。
决策树(单颗树)
-
优点:
-
可解释性。决策树是为数不多的可以解释的机器学习算法,我们可以看到具体的决策过程,到底走哪个分支。
-
可以处理数值型和类别型的特征。如果是数值类的特征,决策节点是看输入值是大于还是小于某个数值。如果是类别类的特征,决策节点是看输入值是不是这个类型。
-
-
缺点:
-
鲁棒性不强。决策树是根据数据进行不断分类决策点生成的,如果数据里面夹杂噪音或者是分布变了,那么决策树也会发生改变,决策节点里面的数据也会改变。解决方案:集成学习来帮忙,生成特别复杂的大量的数,把数据的各种情况都列出来。
-
复杂的决策树会过拟合。原因:分支太多&
-