在本文中,主要记录统计学习方法中,容易被混淆的几个概念的区分和解析。(会不断的进行后续更新)
第一,最大似然估计(Maximum likelihood estimation,MLE)和最大后验概率估计(Maximum a posteriori estimation,MAP)
二者的基础都是贝叶斯公式推导出来的
P(theta|x) = (P(x|thata)P(theta))/P(x)
其中,P(theta|x)后验概率
P(x|theta)条件概率
P(theta)先验概率
似然,可能性的情况,P(x|theta),若theta已知,也就是x是变量,这个式子为概率函数;若theta为变量,x为已知,这个式子就是似然函数。
最大似然估计是指参数的选择,使得取到已知x的概率最大,即P(x|theta)最大。
最大后验概率估计是指参数的选择,使P(x|theta)P(theta)最大,类似于正则化中加罚项的意思,但正则化中利用的是加法,而MAP中利用的是乘法。而P(x)是一个固定值,所以P(x|thata)P(theta)最大代表最大后验P(theta|x)最大,也就是名字的来源。
第二,近似误差(approximation error)和估计误差(estimation error)
近似误差,是指对现有的训练集的训练误差,近似误差小,说明对现有的数据集的拟合效果比较好,有可能出现过拟合的现象。(近似误差,是度量与最优误差之间的相似程度)
估计误差,是指对未知的测试集的训练误差,估计误差小,说明对未知数据有比较好的预测效果,模型比较接近于真实的模型,是最佳的模型。
(估计误差,是度量预测结果和最优结果的相似程度)
k近邻中,k选择太大,近似误差小,估计误差大;k选择太小,近似误差大,估计误差小。
第三,极大似然估计(Maximum likelihood estimation,MLE)和最大似然估计(maximum likelihood estimation,MLE)
二者,似乎没有区别,都是直接对其进行最大化估计就行,利用频率估计概率,估计其出现的可能性,并且使这个可能性最大。