1.ID3->信息增益
2.C4.5->信息增益比
3.CART->采用Gini系数
4.XG Boost->
。
其中,
衡量了每个叶子节点对总体损失的贡献。我们希望损失越小越好,则标红部分的值越大越好。
因此,对一个叶子节点进行分裂,分裂前后的增益定义为:
Gain的值越大,分裂后L的减小越多。所以,当对一个叶节点分割时,计算所有候选(feature,value)对应的gain,选取gain最大的进行分割。
树节点分裂算法:
1.精确算法:遍历所有特征的所有可能的分割点,计算gain值,选取值最大的(feature,value)去分割。
2.近似算法:
对于每个特征,只考察分位点,减少计算复杂度。
Global:学习每棵树前,提出候选切分点
Local:每次分裂前,重新提出候选切分点
三分位数: