全面理解似然函数与贝叶斯公式

    不知道你是否看过我之前的文章,如果看了的话,你会认为很烂,然后判断这篇博客也是很大程度上是很烂的,如果这样的,很幸运,那你使用了贝叶斯思维方式来进行思考问题了。
    学了这么多年贝叶斯公式,不是很了解贝叶斯公式,但是今天和师兄去聊似然函数的时候,聊到了贝叶斯公式,感觉可以去解释人生当中做的一些判断。下面是这篇博客的要讲的三个问题
    1.频率学派和贝叶斯学派的区别?
    2.什么叫似然函数,它从直觉意义上表示什么意思,为什么要进行“最大”似然估计?为什么在最优化的时候需要取log?
    3.贝叶斯公式感悟?

一:频率学派和贝叶斯学派的区别?
    首先讲下,在概率统计上,有两个学派,一个是频率学派,一个是贝叶斯学派,“最大”似然是频率学派提出的。为什么将最大用引号呢,因为似然函数是两个学派共有的。那频率学派和贝叶斯学派有什么根本的区别呢?
    你从名字就可以看出来他们关心的就是我有多大把握去圈出那个“唯一”的真实参数。而贝叶斯学派恰恰相反,他们关心参数空间里的“每一个值”,因为他们觉得我们又没有上帝视角,怎么可能知道哪个值是正确的呢?所以参数空间里的每个值都有可能是真实模型使用的值,区别只是概率不同而已。最好诠释这种差别的例子就是想象如果你的后验分布是双峰的,频率学派的方法会去选这两个峰当中较高的那一个对应的值作为他们的最好猜测,而贝叶斯学派则会同时报告这两个值,并给出对应的概率。
    在二十世纪之前,频率学派发展很迅速很快占据了概率统计半壁江山,现在很多本科教材大量的篇幅使用的都是频率学派的认识。而贝叶斯学派的东西只是一笔带过,很大程度上是因为在贝叶斯学派中很多推断都是基于概率分布,直到上世纪90年代依靠电子计算机的迅速发展,以及抽样算法的进步(GIBBS采样)使得对于任何模型任何先验分布都可以有效地求出后验分布,贝叶斯学派才重新回到人们的视线当中。

二:.什么叫似然函数,它从直觉意义上表示什么意思,为什么要进行“最大”似然估计?为什么在最优化的时候需要取log?
2.1  什么叫似然函数?为什么进行最大似然估计?
    似然的意思是可能性,它的意思和possibility的意思是一样的。
给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:

    首先它表示的是所有样本同时发生的概率,而为什么需要最大的呢,因为当你样本已经拿到你手上了,即表示这个事件已经发生了,那么最大化,这个事件的概率,从而得到参数θ,在直觉上是有道理的。
2.2 为什么需要取log?
    那么为什么在最优化的时候需要取log呢?有两点原因。
    1.为了求解简单,在求导的时候。
    2.为了避免数值的下溢。因为L(θ|x)是由很多概率相乘,而每个概率都是小于一的,如果样本量很大的时候,那么很容易导致L(θ|x)非常非常的小。
2.3 一个栗子
    举个栗子,在历史上有很多人比价有探(zhi)索(zhang)性,有很多数学家做过相关的实验,比如:
德摩根: 实验次数:4092 正面次数:2048
蒲丰: 实验次数:4040 正面次数:2048
费勒: 实验次数:10000 正面次数:4979
罗曼诺夫斯基 :实验次数:80640 正面次数:39699
    上面几位老哥,当然要数罗曼诺夫斯基,这位老哥掷了80640次,很执着,为了探索冥冥之中操纵自然规律的上帝。
    下面我们用matlab求出,罗曼诺夫斯基掷了80640次,的似然函数,及相应的最大值!!!
求解:p:表示正面的概率,1-p:表示反面的概率。

这里写图片描述

对似然函数取log得到如下公式

这里写图片描述

用matlab画图如下:

这里写图片描述

    通过计算可以得出,使上式最大的p=0.8894
    原因分析:那么就有人疑问了,为什么会出现这样的结论呢,笔者猜测可能是硬币不均匀可能导致的。但是求解似然函数的步骤就是这样的。
三:贝叶斯公式感悟?

这里写图片描述

    首先看下这个公式,如果把x看做是你对一件事或者是你的人生,那么p(x)就表示你原先的世界观或者是对事情的理解,而p(D|x)表示你在生活中遇到的事情,p(x)p(D|x)就表示日常生活中你经历的事情,然后去对你之前的世界观进行更新,从而得到最后的世界观或者是对一件事情的认识。所以嘛,当你在生活中如果一件事情你经历了很多遍,不管是好的还是坏的,那么你对待这件事情就有很多感悟,从而来更新你对待事物的看法,并且可以理解到这件事情的本质,从而可以得到一个很好的判断。
    我觉得现在每个人都应该用贝叶斯学派的思想去对待生活,对生活看淡,对事情看淡,从而可以做到宠辱不惊一个人。所以嘛,年轻的时候出去闯闯还是蛮有道理的。

猜你喜欢

转载自blog.csdn.net/baidu_15238925/article/details/81291281