最近重新看了一遍《统计学习方法》中第十章《隐马尔可夫模型》,更加觉得这本书有浅有深,简洁深刻。HMM模型有三个基本问题:概率计算问题,学习问题和预测问题。今天我就来将其中的概率计算问题的一些细节思考总结一下,就当是笔记吧!主要就是概率计算的前向算法和后向算法。
HMM简介
隐马尔可夫模型的参数一般称为其三要素,包括初始状态概率,转移概率和观测概率。其模型的定义建立在两个基本假设的前提上。分别是齐次马尔科夫假设和观测独立性假设。这两个假设是HMM的重点,必须要说一下。
齐次马尔科夫假设:通俗地说就是HMM的任一时刻t某一状态只依赖于其前一时刻的状态,与其它时刻的状态及观测无关,也与时刻t无关。
观测独立性假设:通俗地说就是任一时刻的观测只依赖于该时刻的马尔科夫链的状态,与其他观测及状态无关。
这两个假设是HMM的核心,之后的公式推导都是依赖这两个假设成立的基础上进行的。
概率计算问题
HMM的概率计算问题是HMM三大问题之一。所谓概率计算就是给定一个模型参数已知的HMM和一组观测序列,求这组观测序列由这个HMM所生成的概率。概率计算问题其实评价了模型的好坏,试想如果有两个HMM和一组观测序列,第一个HMM给出的
前向算法
前向算法定义了一个概念,叫前向概率:给定隐马尔科夫模型
有了前向概率,我们就可以递推地求得前向概率
其中,
而根据前向概率的定义:
根据上面提到的 齐次马尔科夫假设,有:
因此可以将
在经过求和符号处理之后,有:
然后递推式中的
后面的连等成立是因为应用了前面提到的 观测独立性假设。这样,最终
这与我们之前对前向概率的定义是一致的。最后,为了得到
后向算法
后向算法与前向算法类似,它定义了一个概念叫后向概率:给定隐马尔科夫模型
同样也可以用递推的方法求得后向概率
前向概率和后向概率的应用
有了前向概率和后向概率的基础,我们就可以利用它们来表示一些HMM概率计算的小问题。比如可以将观测序列概率
两个求和符号中的
两次求和其实就是将状态
下面给出一些概率和期望值的计算。
在时刻t处于状态
qi
的概率
在时刻t处于状态
qi
且在时刻t+1处于状态
qj
的概率
利用
γt(i)
和
ξt(i,j)
对各个时刻求和得到有用的期望值
(1)在观测O下状态i出现的期望值为
解释:出现一次的概率是
(2)在观测O下由状态i转移的期望值为
解释:即除去当前被转移到的状态剩下T-1个长度。
(3)在观测O下由状态i转移到状态j的期望值为
解释:只能有T-1个由状态i转移到状态j的机会。
总结
通过这些概率和期望值的计算,可以为后面HMM的其它两个问题即学习问题和预测问题提供方便。