统计学习
统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。现在，人们提及机器学习时，往往是统计机器学习。
统计学习方法包括模型的假设空间、模型选择的准则及模型学习的算法。称为统计学习的三要素，简称为模型、策略和算法。
模型：
模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的集合。假设空间中的模型一般有无限多个。决策树、朴素贝叶斯等这些都叫做模型。
策略：
策略就是考虑如何选择最优模型。这里是用损失函数和风险函数作为策略。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。
算法：
有了最优模型，我们需要用一些计算方法求解最优模型。这是统计学习问题归结为最优化问题。例如梯度下降法、最小二乘法都是常用的求解最优模型算法。
实现统计学习方法步骤如下：
（1）得到一个有限的训练数据集合
（2）确定学习模型的集合
（3）确定模学习的策略
（4）实现学习的算法
（5）通过学习方法选择最优模型
（6）利用学习的最优模型对新数据进行预测或分析
统计学习方法分类
统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。最主要的学习方法还是监督学习和无监督学习。
