最大后验与最大似然

最大后验与最大似然

P(x|z) = P(z|x)P(x)/P(z) ~ P(z|x)P(x)
贝叶斯法则左侧P(x|z)通常被称为后验概率,右侧P(z|x)称为似然,P(x)称为先验.直接求后验分布是困难的,但是求一个状态最优估计,使得在该状态下后验概率最大化(MAP)则是可行的.

xmap = arg maxP(x|z) = arg maxP(z|x)P(x)

求解最大后验概率相当于最大化似然和先验的乘积.如果没有先验,即没有先验的位置信息,此时就没有了先验,那么,可以求解x的最大似然估计(MLE)

xMLE = arg maxP(z|x)

直观讲,似然是指,"在现在的位资下,可能产生怎样的观测数据".由于我们知道观测数据,所以最大化似然估计可以理解成:"在什么样的状态下,最可能产生现在的观测到的数据".这就是最大似然估计的直观意义.

最大似然和最小二乘的关系.

最小二乘是以残差平方和最小为准则的参数估计方法.由于是已知观测,求解参数,所以是最大似然的一种,是以残差平方和最小为准测(残差平方和最小可以等效为残差服从正太分布即服从高斯分布)的最大似然方法.

残差平方和最小与残差服从正太分布

任意的一个观测,都会受噪声的影响,即观测值与真值之间都会相差一个残差(误差).如果假设残差服从正太分布(即误差是随机变量,服从正太分布):
Y = f(X) + V
Y为观测,X为参数,V为残差.
残差服从均值为0的正太分布,即:
V = Y - f(X) ~ N(0,σ)

猜你喜欢

转载自blog.csdn.net/fb_help/article/details/94745244
今日推荐