树模型
- 应用场景：1.分类 2.回归
- 分类应用中的树模型等价于if-then规则的集合or定义在特征空间与类空间的条件概率分布，可解释性强
- 概念：
1. 熵：表示随机变量的不确定程度，其数值越大，则随机变量的不确定性也越大
2.条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性，定义为X已知时随机变量Y的条件概率的熵对X的数学期望
3.信息增益：表示已知特征X的信息而使得类Y的不确定性减少的程度
g(Y,X)=H(Y)-H(Y|X)
4.信息增益比：解决信息增益
g_r(Y,X)=g(Y,X)/H(Y)
- 实现：本质是特征选择问题
1. ID3