Adaboost
1.简述原理
2.实例
3.算法流程和公式推导
4.优点和缺点
5.问题
Adaboost
1.简述原理
（形式+弱学习器学习方法+弱学习器权值）
Adaboost就是加法模型+前向分步算法+指数损失函数+任意基学习器算法（boosting框架+指数损失函数+任意基学习器算法）。是一种基于boost思想的一种自适应的迭代式算法。他改变了训练样本的权重，关注错误分类样本的权重，加大错误分类样本的权重，减小正确分类样本的权重，再用一些基本的机器学习算法进行学习（如LR）。最后用投票表决的方法组合弱学习器，加大分类错误率低的弱学习器权重，减小分类错误率大的弱学习器权重。
扫描二维码关注公众号，回复：
5934419 查看本文章
2.实例
3.算法流程和公式推导
4.优点和缺点
优点：
- 具有较低的泛化误差
- 可将不同的分类算法作为弱分类器，可选C4.5，CART,SVM,贝叶斯分类器作为弱分类器
- Adaboost作为分类器时，分类精度很高，简单，
- 不用做特征筛选;
- 不容易出现过拟合
缺点：
- 对噪声、异常值非常敏感
异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性
2）迭代次数（弱分类器数目）不好确定（可使用交叉验证来确定）；
3）数据不平衡导致分类精度下降；
4）每次都要重新选择当前分类器最好的切分点，训练耗时；
adaboost问题
1.为什么Adaboost对噪声敏感？
异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性
2. Adaboost的自适应在于？
最开始，所有的训练样本具有相同权重。被前一个分类器分错的样本会被用于训练下一个分类器， 即提高这个分错的样本被选中进入下一个弱分类器选中的概率， 分对的样本被选中的概率会被降低。