问题:为什么降低学习率可以会有正则化效果呢?
因为一般根据在神经网络的经验而言,降低学习率,可以实现更高的训练效果,即进一步拟合;
在gbdt中,这个学习率与神经网络中的学习率担任的角色不一样;
gbdt中的学习率主要是调节每棵树的对预测结果的贡献;如果学习率下降,就降低了每棵树的贡献;模型训练的预测效果就会下降;为了达到和高学习率相同的效果,就需要生成更多的树;
当时的疑惑是如果下降学习率,那么就会生成更多的树,就会更加拟合;怎么会有正则化效果呢?
因为下降学习率,并没有增加更多的树,前提假设其他的超参是不变的;
在学习率等超参数固定的情况下,树的数量越多,就模型训练精度越高;
在树的数量等超参数固定的情况下, 学习率越高,模型训练精度越高;