本文用于总结机器学习、深度学习常用算法的思想，并贴出网上讲解较好的博客！！！
思想：求解能够正确划分训练数据集并且几何间隔最大的分离超平面。
ID3算法
思想：从根节点开始，对结点计算所有可能特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值简历子结点，再对子结点递归的调用以上方法，构建决策树。直到所有特征的信息增益均很小或没有特征可以选择为止。
CART回归树算法
思想：遍历所有输入特征和其对应的切分点，利用均方误差最小准则找到最优特征和最优切分点，构成一个对(j,s)，将输入空间划分为两个区域，再对每个区域重复上述过程。
Adaboost算法思想：通过迭代每次学习一个基本分类器。每次迭代中，提高那些被前一轮分类器错误分类数据的权值，而降低那些被正确分类数据的权值。最后，Adaboost将基本分类器的线性组合作为强分类器，其中给分类错误率小的基本分类器以大的权值，给分类错误率大的基本分类器以小的权值。
思想：将n维特征映射到k维上，k<n，这k维特征是全新的正交特征，也是主成分。其是重新构造出来的k维特征，而不是简单地从n维特征中删除n-k维特征。
思想：每次迭代都是为了减少上一轮的残差，为了消除残差，在残差减小的梯度方向上建立回归树模型。利用损失函数负梯度方向在当前模型的作为残差的近似值。
思想：将源领域的知识迁移至与其相似的目标领域中。
参考资料：
1.李航《统计学习方法》