1、模型思想
XGBoost是GBDT改良版,都是通过多个弱学习器,不断地减少残差。GBDT主要是对残差求一阶导,向负梯度的方向拟合残差,而XGBoost运用了泰勒展开,考虑到了二阶导数。
2、公式推导
每次的迭代都是前面的弱学习器组合上新的学习器,表示为:
ŷ (t)i=ŷ (t−1)i+ft(xi)
目标函数可以表示为:
loss=∑i=1nl(yi,ŷ (t−1)i+ft(xi))+Ω
其中
Ω
是正则项,为了防止过拟合,对树的数量和叶子结点的指加入了惩罚项:
Ω=γT+12λ∑j=1Tw2j
将
l(yi,ŷ (t−1)i)
看作是
x
,
ft(xi)
看作是
Δx
,对损失函数进行泰勒展开:
loss≈∑i=1N[l(yi,ŷ (t−1)i)+gift(xi)+12hif2t(xi)]+Ω
其中
gi
和
hi
分别是一阶导和二阶导,这个导数取决于选择什么损失函数,例如MAE,MSE。
l(yi,ŷ (t−1)i)
这一项,是由前面的弱学习器组成,不会发生改变,可以看成常数项,然后损失函数可以变成:
loss≈∑i=1N(gift(xi)+12hif2t(xi))+γT+12λ∑j=1Tw2j
1到N是遍历样本,比较繁琐,把遍历样本转化为遍历叶子节点,损失函数变成:
loss≈∑i=1T[Giwi+12(Hi+λ)w2i]+γT
其中
Gi
和
Hi
分别是这个叶子节点上所有数据的loss的一阶导数和二阶导数的和。
然后目标函数对
wi
求偏导数,让偏导数为0可以解除每个树叶节点的值
wi
:
∂loss∂wi=−12∑i=1TG2jHj+λ+γT=0
解得:
wi=−GjHj+λ
回带得到损失函数是:
loss=−12∑i=1TG2iH2i+λ+γT
与AdaBoost不同的是,AdaBoost基分类器用的是CART决策树,分隔的标准是gini系数,XGBoost则是用这个推出来的损失函数进行分隔。
让这个损失函数下降越多越好,也就是
G2H+λ
越大越好,所以XGBoost的信息增益是:
Gain=12[G2LHL+λ+G2RHR+λ−(GL+GR)2HL+HR+λ]−γ
因为每次分隔会多出一个树,所以要减去
γ
。