本文主要介绍一下马尔可夫随机过程的概念及特性。
随机过程
概念
设
(Ω,F,P)
是概率空间,
T
是给定的参数集,对于每个
t∈T
,有一个随机变量
X(t,e)
与之对应,则称随机变量族
{X(t,e),t∈T}
是
(Ω,F,P)
上的随机过程,简记为
{X(t),t∈T}
。
T
称为参数集,通常表示时间。
我们可以将
X(t)
理解为系统在时刻
t
所处的状态,
X(t)
的所有可能状态构成的集合称为状态空间或相空间, 记为
I
。
从数学的观点来说,随机过程
{X(t,e),t∈T}
是定义在
T×Ω
上的二元函数,对固定的
t
,
X(t,e)
是
(Ω,F,P)
上的随机变量;对固定的
e
,
X(t,e)
是定义在
T
上的普通函数,称为随机过程
{X(t,e),t∈T}
的一个样本函数或轨道,样本函数的全体称为样本函数空间。
分布律
设
{X(t),t∈T}
是随机过程,对任意
n≥1
和
t1,t2,…,tn∈T
,随机向量
(X(t1),X(t2),…,X(tn))
的联合分布函数为
Ft1,t2,…,tn(x1,x2,…,xn)=P{X(t1)≤x1,X(t2)≤x2,…,X(tn)≤xn}
这些分布函数的全体
F={Ft1,t2,…,tn(x1,x2,…,xn):t1,t2,…,tn∈T,n≥1}
称为
XT={Xt,t∈T}
的
有限维分布函数族。
随机过程
XT={Xt,t∈T}
的有限维分布函数族分布函数族具有如下性质:
- 对称性:对于
{1,2,…,n}
的任意排列
{i1,i2,…,in}
,
Ft1,t2,…,tn(x1,x2,…,xn)=Fti1,ti2,…tin(xi1,xi2,…,xin)
- 相容性:当
m<n
时,
Ft1,t2,…,tm(x1,x2,…,xm)=Ft1,t2,…,tm,…,tn(x1,x2,…,xm,∞,…,∞)
柯尔莫哥洛夫(Kolmogorov)存在定理:
设参数
T
给定,若分布函数族
F
满足对称性和相容性条件,则必存在概率空间
(Ω,F,P)
及在其上定义的随机过程
{X(t),t∈T}
,它的有限维分布函数族是
F
。
数字特征
设
XT={X(t),t∈T}
是随机过程,如果任意
t∈T
,
EX(t)
存在,则称函数
mX(t)=EX(t)
为
XT
的
均值函数。
若对任意
t∈T
,
E(X(t))2
存在,则称
XT
为
二阶矩过程,而称
BX(s,t)=E[{X(s)−mX(s)}{X(t)−mX(t)}],s,t∈T
为
XT
的
协方差函数,
DX(t)=BX(t,t)=E[X(t)−mX(t)]2,t∈T
为
XT
的
方差函数,
RX(s,t)=E[X(s)X(t)],s,t∈T
为
XT
的
相关函数。
马尔可夫过程
马尔可夫过程按照其状态和时间参数是连续的或离散的,可分为三类:
- 时间、状态都是离散的马尔可夫过程,称为马尔可夫链。
- 时间连续、状态离散的马尔可夫过程,称为连续时间马尔可夫链。
- 时间、状态都是连续的马尔可夫过程。
本文中我们仅介绍马尔可夫链。
马尔可夫链
若随机过程
{Xn,n∈T}
对于任意的非负整数
n∈T
和任意的
i0,i1,…,in−1∈I
,其条件概率满足:
P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in}=P{Xn+1=in+1|Xn=in}
则称
{Xn,n∈T}
为
马尔可夫链。
可见,马尔可夫链的统计特征完全由条件概率
P{Xn+1=in+1|Xn=in}
所决定。
转移概率
条件概率相当于游走的质点在时刻
n
处于状态
i
的条件下,下一步转移到状态
j
的概率。记此条件概率为
pij(n)
,其严格定义如下:
称条件概率
pij(n)=P{Xn+1=j|Xn=i}
为马尔可夫链
{Xn,n∈T}
在时刻
n
的
一步转移概率,其中
i,j∈I
。当
pij(n)
不依赖于时刻
n
时,表示马尔可夫链具有
平稳转移概率。若对于任意
i,j∈I
马尔可夫链
{Xn,n∈T}
的转移概率
pij(n)
与
n
无关, 则称马尔可夫链
{Xn,n∈T}
是
齐次的,并记
pij(n)
为
pij
。
下面我们仅讨论齐次马尔可夫链。设
P
为一步转移概率
pij
所组成的矩阵,且状态空间
I={1,2,…}
,称
P=⎛⎝⎜p11p21⋯p12p22⋯⋯⋯⋯p1np2n⋯⋯⋯⋯⎞⎠⎟
为系统的
状态转移概率矩阵,它具有如下性质:
-
pij≥0,i,j∈I
-
∑j∈Ipij=1,i∈I
可见转移概率矩阵中任一行元素之和为1。通常满足上述性质的矩阵为随机矩阵。
称条件概率:
p(n)ij=P{Xm+n=j|Xm=i},i,j∈I,m≥0,n≥1
为马尔可夫链
{Xn,n∈T}
的
n
步转移概率,并称:
P(n)=(p(n)ij)
为马尔可夫链
{Xn,n∈T}
的
n
步转移矩阵,其中
p(n)ij≥0,∑j∈Ip(n)ij=1
,即
P(n)
也是随机矩阵。我们规定:
p(0)ij={0,i≠j1,i=j
对任意整数
n≥0,0≤l<n
以及
i,j∈I
,
n
步转移概率
p(n)ij
具有下列性质:
-
p(n)ij=∑k∈Ip(l)ikp(n−l)kj
-
p(n)ij=∑k1∈I⋯∑kn−1∈Ipik1pk1k2⋯pkn−1j
-
P(n)=PP(n−1)
-
P(n)=Pn
其中 1 式被称为切普曼-柯尔莫哥洛夫方程,简称C-K方程。
定理:设
{Xn,n∈T}
为马尔可夫链,则对任意
i1,…,in∈I
和
n≥1
,有:
P{X1=i1,⋯,Xn=in}=∑i∈Ipipii1⋯pin−1in