在本文中，主要记录统计学习方法中，容易被混淆的几个概念的区分和解析。（会不断的进行后续更新）

第一，最大似然估计（Maximum likelihood estimation,MLE）和最大后验概率估计（Maximum a posteriori estimation,MAP）

二者的基础都是贝叶斯公式推导出来的

P(theta|x) = (P(x|thata)P(theta))/P(x)

其中，P(theta|x)后验概率

         P(x|theta)条件概率

         P(theta)先验概率

似然，可能性的情况，P(x|theta)，若theta已知，也就是x是变量，这个式子为概率函数；若theta为变量，x为已知，这个式子就是似然函数。

最大似然估计是指参数的选择，使得取到已知x的概率最大，即P(x|theta)最大。

最大后验概率估计是指参数的选择，使P(x|theta)P(theta)最大，类似于正则化中加罚项的意思，但正则化中利用的是加法，而MAP中利用的是乘法。而P(x)是一个固定值，所以P(x|thata)P(theta)最大代表最大后验P(theta|x)最大，也就是名字的来源。

第二，近似误差（approximation error）和估计误差(estimation error)

近似误差，是指对现有的训练集的训练误差，近似误差小，说明对现有的数据集的拟合效果比较好，有可能出现过拟合的现象。（近似误差，是度量与最优误差之间的相似程度）

估计误差，是指对未知的测试集的训练误差，估计误差小，说明对未知数据有比较好的预测效果，模型比较接近于真实的模型，是最佳的模型。

（估计误差，是度量预测结果和最优结果的相似程度）

k近邻中，k选择太大，近似误差小，估计误差大；k选择太小，近似误差大，估计误差小。

第三，极大似然估计（Maximum likelihood estimation,MLE）和最大似然估计（maximum likelihood estimation,MLE）

二者，似乎没有区别，都是直接对其进行最大化估计就行，利用频率估计概率，估计其出现的可能性，并且使这个可能性最大。