统计学习也称为统计机器学习，希尔伯特·西蒙对学习的定义：如果一个系统能过通过执行某个过程改进它的性能，这就是学习。统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。

统计学习包括监督学习、非监督学习、半监督学习及强化学习

监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测

基本概念

输入空间、特征空间、输出空间

在监督学习中将输入与输出所有可能取值的集合分别称为输入空间和输出空间，输入和输出空间可以使有限元素的集合，也可以是整个欧式空间，输入空间和输出空间可以是同一个空间，也可以是不同的空间，但通常输出空间远远小于输入空间

每个具体的输入是一个实例，通常由特征向量表示，这时，所有特征向量存在的空间称为特征空间，特征空间的每一维对应于一个特征，有时假设输入空间与特征空间为相同的空间，对他们不予区分；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间，模型实际是都是定义在特征空间上的

根据输入、输出变量类型的不同，对预测任务给予不同的名称：

• 输入变量与输出变量均为连续变量的预测问题称为回归问题；
• 输出变量为有限个离散变量的预测称为分类问题；
• 输入变量和输出变量均为变量序列的预测问题称为标注问题； 

假设空间

监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间

监督学习利用训练数据集学习一个模型，再用模型对测试集进行预测，训练集往往是人工标注给出的，所以称为监督学习，监督学习分为学习和预测两个过程，由学习系统和预测系统完成

 机器学习三要素

机器学习由模型、策略和算法构成。

• 模型

在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如：假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无穷多个。

• 策略

有了模型的假设空间，机器学习接下来就需要考虑按照什么准则学习或者选择最优的模型，机器学习的目标在于从假设空间中选取最优模型。首先引入损失函数与风险函数，损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

损失函数与风险函数

监督学习就是在假设空间 F 中选取一个模型 f 作为决策函数，对于给定的输入X，给出相应的输出f(X)，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数(lossfunction)或代价函数(cost function)来度量预测错误的程度。损失函数是f(X)与Y的非负实值函数，记作L(Y,f(X))。

机器学习常用的损失函数有以下几种：

(1)0-1损失函数(0-1 loss function)

(2)平方损失函数(quadratic loss function)

(3)绝对损失函数(absolute loss function)

(4)对数损失函数(logarithmic loss function)或者对数似然损失函数(log-likelihoodfunction)

损失函数值越小，模型就越好。由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望值是： 

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数(riskfunction)或期望损失(expected loss)。

学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，Rexp(f)不能直接计算。实际上，如果知道了联合分布P(X,Y)，可以从联合分布直接求出条件概率分布P(Y|X)，也就不需要学习了。正因为不知道联合概率分布，所以才需要进行学习。这样一来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布又是未知的，所以监督学习就成为一个病态问题。

给定一个训练数据集

模型f(X)关于训练数集的平均损失称为经验风险(empiricalrisk)或者经验损失(empirical loss)，记作Remp：

期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp(f)趋于期望风险Rexp(f)。所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中的训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。

经验风险最小化与结构风险最小化

在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式就可以确定。经验风险最小化的策略认为，经验风险最小的模型是最优的模型。根据这一策略，按照经验风险最小化求解最优模型就是求解最优化问题：

当样本容量足够大时，经验风险最小化能保证很好的学习效果，在现实中被广泛采用。比如，极大似然估计就是经验风险最小化的一个例子。当模型是条件概率分布，损失函数是对数函数时，经验风险最小化就等价于极大似然估计。但是，当样本空间很小是，经验风险最小化学习的效果就未必很好，会产生“过拟合(over-fitting)”现象。

结构风险最小化(structural risk minimization,SPM)是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization)。结构风险在经验风险上加上表示模型复杂度的正则项(regularizer)或者罚项(penalty term)。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义为：

其中J(f)为模型的复杂度，是定义在假设空间F上的泛函（泛函 通常是指一种定义域为函数，而值域为实数的“函数”。换句话说，就是从函数组成的一个向量空间到实数的一个映射。也就是说它的输入为函数，而输出为实数）。模型 f 越复杂，复杂度 J(f) 就越大；反之，模型 f 越简单，复杂度 J(f) 就越小。也就是说，复杂度表示了对复杂模型的惩罚。λ≥0是系数，用于权衡经验风险和模型的复杂度。结构风险小需要经验风险与模型复杂度同时小。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。

比如，贝叶斯估计中的最大后验概率估计(maximum posteriorprobability,MAP)就是结构风险最小化的一个例子。当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化等价于最大后验概率估计。

结构风险最小化的策略认为结构风险最小化的模型是最优的模型。所以求最优模型，就是求解最优化问题：

这样监督学习问题就变成了经验风险或者结构风险函数的最优化问题。这时经验风险或结构风险函数是最优化的目标函数。

• 算法

算法是指学习模型的具体计算方法，机器学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型。

机器学习问题可以归结为最优化问题，机器学习的算法称为求解最优化问题的算法。如果最优化问题有显式的解析解，这个最优化问题就比较简单。但通常解析解不存在，这就需要用数值计算的方法求解，如何保证找到全局最优解，并使求解的过程非常高效，这就是一个重要的问题，机器学习可以利用已有的最优化算法，有时也需要开发独自的最优化算法。