gbdt降低学习率可以实现正则化效果呢

问题:为什么降低学习率可以会有正则化效果呢?

因为一般根据在神经网络的经验而言,降低学习率,可以实现更高的训练效果,即进一步拟合;

在gbdt中,这个学习率与神经网络中的学习率担任的角色不一样;

gbdt中的学习率主要是调节每棵树的对预测结果的贡献;如果学习率下降,就降低了每棵树的贡献;模型训练的预测效果就会下降;为了达到和高学习率相同的效果,就需要生成更多的树;

当时的疑惑是如果下降学习率,那么就会生成更多的树,就会更加拟合;怎么会有正则化效果呢?

因为下降学习率,并没有增加更多的树,前提假设其他的超参是不变的;

在学习率等超参数固定的情况下,树的数量越多,就模型训练精度越高; 

在树的数量等超参数固定的情况下, 学习率越高,模型训练精度越高;

猜你喜欢

转载自blog.csdn.net/ningyanggege/article/details/87974691