一、马尔科夫性(无后效性)
一旦Markov链的初始分布给定,其未来统计特性就完全由现在状态的转移概率决定,与其过去相互独立。
二、一步转移概率
通常以转移矩阵的方式给出,如
P=(pij)=⎣⎡p00p10...p01p11............⎦⎤
其每一行表示现在状态,每一列表示下一时刻可能的状态,如
p01表示当前是0状态转移为1的状态的概率。
每行的转移概率和为1。
三、n步转移概率
n步转移概率的转移矩阵可以计算矩阵
Pn=(pij(n))得到。
四、状态的分类和性质
- 若存在
n≥0使得
Pij(n)>0,则称状态
i可达状态
j;
- 若
j也同时可达
i,则称
i,
j互通;
- 互通是一种等价关系,有自返性(
i和
i互通)、对称性、传递性;
- 将任何两个互通的状态归为一类,若一个马尔可夫链只存在一个类则称它是不可约的,否则称为可约的;
- 若集合
{n:n≥1,pii(n)>0}非空,则称它的最大公约数
d=d(i)为状态
i的周期;
- 若状态
i,j同属一类,则
d(i)=d(j);
- 常返性:若状态经有限步后首次回到原状态的概率和为1,即该状态不会有概率转移出该类,则称该状态为常返状态,否则为非常返状态。同一类的状态有相同的常返性。