https://www.cnblogs.com/mata123/p/7440774.html
https://www.cnblogs.com/infaraway/p/7890558.html
Xgboost缺点:
1、 在每次迭代的时候都要遍历整个训练数据多次,如果把整个训练数据装进内存则会限制训练数据的大小;如果不装进内存,反复地读写训练数据又会消耗非常大的时间
2、 预排序方法空间消耗大
因为xgboost采用的是基于特征的并行计算,所以在每次计算之前,都要对特征进行排序。这样的算法需要保存数据的特征值,还保存了特征排序的结果(例如排序后的索引,为了后续快速的计算分割点)。这里需要消耗训练数据两倍的内存
3、 时间消耗大,在遍历每个分割点的时候,都需要进行分裂增益的计算,消耗的时间代价大
4、 对cache优化不友好,在预排序后,特征对梯度的访问是一种随机访问,并且不同的特征访问的顺序不一样,无法对cache进行优化。同时,在每一层长树的时候,需要随机访问一个行索引到叶子索引的数组,并且不同特征访问的顺序也不一样,也会造成较大的cache miss.
LightGBM的优点
1、 基于Histogram的决策树算法
2、 带深层限制的Leaf-wise的叶子生长策略
3、 直方图做差加速
4、 直接支持类别特征(categorical Feature)
5、 Cache命中率优化
6、 基于直方图的稀疏特征优化
7、 多线程优化