树模型
- 应用场景:1.分类 2.回归
- 分类应用中的树模型等价于if-then规则的集合or定义在特征空间与类空间的条件概率分布,可解释性强
- 概念:
1. 熵:表示随机变量的不确定程度,其数值越大,则随机变量的不确定性也越大
2.条件熵:表示在已知随机变量X的条件下随机变量Y的不确定性,定义为X已知时随机变量Y的条件概率的熵对X的数学期望
3.信息增益:表示已知特征X的信息而使得类Y的不确定性减少的程度
g(Y,X)=H(Y)-H(Y|X)
4.信息增益比:解决信息增益
g_r(Y,X)=g(Y,X)/H(Y)
- 实现:本质是特征选择问题
1. ID3