课程来源：林轩田《机器学习技法》
课程地址：
https://www.bilibili.com/video/av12469267/?p=1
1. 每棵树只有一层高时
2. 怎么给样本加权？如果再树切分中加权，很麻烦。
一种方式是给每个样本一个权重，然后按权重进行抽样，这样权重高的样本就更容易被注意到。
3. 权重的设置
4. 投票权重和SVM中的点到超平面的距离很像，差别是没有常数项和正则化
5. 推导，会发现我们希望点的权重越来越小，而adaboost能满足这样的条件
6. 既然要让全部的总和越来越小，也就是让最后一个的值越来越小
7. 转换成可以使用梯度下降的方式
8. 找到梯度方向
9. 每一步下降尽可能多
10. 可以将AdaBoost Tree理解成在近似的方向上（因为用了泰勒展开）贪心走了最长的一步
11. 将梯度的想法延伸，对所有error都可以做梯度下降，这样就延伸到了GB，可以做回归、soft classification等
12. gd应用在回归问题
13. gbdt
14. 四种模型的差异。其中adaboost通过改变权重来生成g，然后根据g表现的不同来投票；gbdt是根据现在模型与标签的残差，对残差进行学习，然后生成g，最后根据g表现的不同来投票