机器学习学习笔记之二——大数定律、中心极限定理以及极大似然估计理解与用法

  极大似然估计法常常出现在机器学习算法的推导过程中,其使用场景或者说功能正是: 以已有样本、已有公式去估计参数,最大可能的那个参数。

  这样来理解,极大似然估计法其实和机器学习算法的目标都是一样的。那么极大似然估计法如何来用呢?

    (1)、写出已有公式: L(θ)。

    (2)、对L(θ)取对数: ln L(θ)。 这一步的目的是将L(θ)中的连乘操作转化为连加。

    (3)、对ln L(θ)求 关于θ的导数,设 d (ln L(θ)) / dθ = 0,求解得到的 θ即为最大可能的那个参数θ。

  那么步骤看不懂怎么办?

   (1)、L(θ)是什么?

       虽然之前假设了是已有公式,但是在实际问题中这个公式必然是要自己定义的。

       若第 i 个样本中 x 事件发生的概率假设为p,,则 L(θ) = ∏ p(xi) 。 (上面第二条所说的连乘就是这里的连乘符号)

  (2)、照葫芦画瓢套公式没问题,那么和大数定律有什么关系?

    简单理解一下大数定律:用部分的样本分布取拟合整体分布。(拿10000个人的性别分布去猜全世界人的性别分布

   在最大似然估计问题最开始就要提出假设,因为最大似然估计法用到的样本就是这部分样本,而问题是整体,所以就用到了大数定律。

  (3)、中心极限定理来凑什么热闹?

    中心极限定理和最大似然估计是没有直接联系的,它也是建立在大数定律的基础上。

    简单理解一下中心极限定理:同一分布的样本的累加,会呈现出正态分布。(我抛硬币抛了无数次,那么(第一次)、(第一次和第二次)、(第一次和第二次和第三次)……这样的事件所发生的概率会呈现出正态分布)

    对于最大似然估计法来说,往往遇到的问题就是这样可以应用于中心极限定理的问题,毕竟正态分布在生活中无处不在。。。

猜你喜欢

转载自blog.csdn.net/qq_35946969/article/details/84530008