【Machine learning】参数估计(个人通俗理解)

问题背景:

我们知道了总体的分布,但不知道分布的参数,因此我们就要对未知的参数做出估计。

两个类型的估计:

1.点估计

2.区间估计

1.点估计

包括矩估计和极大似然估计

1)矩估计:

用样本矩去估计总体矩

这里就可以用样本一阶矩(均值)估计整体一阶矩(均值),样本二阶中心矩估计(方差)整体二阶中心距(方差)

2)极大似然估计:

理解:

利用已知的样本结果反推最有可能(最大概率)导致这样结果的参数值。

所以步骤:

1.由总体的密度函数,写出似然函数(概率密度的连乘),这个似然函数是关于未知参数(我们要估计的那些参数)的函数,这就是一个最优规划问题了。

2.求出使密度值最大时候,未知参数的值

3.为了方便,方程两边取对数,再求驻点,由于一般是实际问题,在驻点处就可以取得极大值了。

估计量优良评定标准:

1.无偏性:估计量的期望等于被估计的量。样本均值和样本方差分别是总体均值和总体方差的无偏估计。

2.有效性:在期望值相等的条件下,考虑方差,方差小的估计量,有效性好。

3.一致性:估计量依概率收敛于被估计量。(样本均值和样本方差分别是总体均值和总体方差的一致估计)

2.区间估计:

根据样本求出未知参数的估计区间,并使这个区间包含未知参数的可靠程度达到预定要求(这个预定要求就是个置信度,用上α位分点来体现这个置信度)。

步骤:

1.构造合适的包含待估参数的统计量U,且统计量的分布已知。

2.根据给定的置信度,按照P(U1<U<U2)=1-α,求出U1,U2,用U解出未知参数的范围,最后的形式就是P(x*<μ<y*)=1-α,这是μ可以在概率为1-α的情况下落在区间(x*,y*)内。

这里用到了上α位分点来找这个能使置信度为1-α的置信区间。

猜你喜欢

转载自blog.csdn.net/baidu_29894819/article/details/78501821