RF和GBDT的区别
集成
并行
偏差+方差
重要性计算(GBDT衡量特征j的全局重要度通过:特征j在单颗树中的重要度的平均值来衡量,RF是通过置换检验,可放回抽样)
XGB和GBDT的区别
并行
二次泰勒展开
正则项
缺失值
采样
分裂选择计算:GBDT是gini系数,XGB是综合分割前后的分数增益+正则项。
lightgbm和XGB的区别
分裂策略:xgb做无差别分裂level-wise,后剪枝,lightgbm做leaf-wise分裂,前剪枝。减小分裂开销。
决策树算法:exact算法和直方图算法。
lightgbm的优势:
GBDT细节
决策树的建立。
Xgb细节
lightgbm细节
虽然是leaf-wise,但是可能树长的比较深,所以小数据集可能过拟合,因此参数中有树的深度的限制。
直方图用桶的索引标志
对大数据的优势在于:内存访问机制。大数据顺序访问比随机访问要更快,因为cache miss导致xgb慢很多。
传统的机器学习没办法输入离散值,首先转化为高维的二进制的01特征,浪费内存和时间。lightgbm直接使用离散特征分桶计算,速度快了8倍以上。
并行
数据并行,
特征并行,
投票并行,这是对数据并行的改进,
慢工出细活:小的学习率加大的迭代次数。
RF细节
特征随机性:每个结点分裂都需要随机选择特征
OOB的结果近似K折交叉验证,估计OOB时,只用到了随机森林中的部分树,使用了1/3的未用到的数据进行最后的评估。