前面我们简单回顾了随机变量。这一部分我们来讨论随机过程，大家注意理解二者之间的区别与关系。

1、什么是随机过程？

  所谓随机过程，可以看成是随某参量（一般为时间t）变化的随机变量。举例来说，假定下图中所示随机噪声源，其输出电压为随机变量，且该变量岁时间变化。我们对其输出电压随时间变化的函数进行测量并记录，其中第$j$次测试得到的结果用$X(A_j,t)$来表示，简写为$X_j(t)$，我们称之为第$j$个样本函数。显然，每个样本函数都是确定函数。如果一共进行了$N$次测试，就可以得到$N$个样本函数，如下图所示。所有可能的$N$个样本函数，就构成样本函数空间 { X 1 ( t ) , X 2 ( t ) , … , X N ( t ) } \{X_1(t),X_2(t),\ldots,X_N(t)\} { X1​(t),X2​(t),…,XN​(t)}。

   我们可以从两个不同的角度来理解随机过程。
  第一个角度，我们可以把随机过程看成样本函数的集合。从上面的例子来看，所有的$N$个样本函数，构成样本函数空间。而每次测试得到的噪声源输出电压，一定是空间中的某个样本函数，但具体是哪个函数，则是随机的。

  注意这里的$N$可以是有限值，也可以是无限大的。换句话说，样本空间中样本函数个数，可以是有限多个，也可以是无线多个。
  举例来说，如果我们要发送二进制数据的"0"或者“1”，我们可以用两种波形来表示它们，例如，用持续时间为1ms的+5V电平表示"1"，持续时间为1ms的-5V电平表示"0"。因此我们的样本函数集中包含下图所示两个样本函数，即$N=2$，从接收机来看，会随机地收到两个函数中的其中一个，并对此进行检测。因此这是一个二进制的数字通信系统。

  考虑另外一种情况。如果我们用麦克风采集语音信号并发送给接收端。从接收端来看，可能收到的信号波形有无穷多种可能。因此样本函数集中的样本函数有无穷多种。这也就是我们前面介绍过的模拟通信系统。

一般来说，如果$N$为无限值，即状态为连续的，我们称$X(t)$为连续随机过程；如果$N$为有限值，即状态为离散的，我们称$X(t)$为离散随机过程。
  第二个角度，可以把随机过程看成一系列随机变量的集合。同样是上面的随机噪声源的例子，如下图所示，如果我们观察每次实验$t_1$时刻对应的电压值，会发现在第$j$个样本函数上的值为$X(A_j,t_1)$，而$N$次不同的实验其取值都不相同。因此，噪声源在$t_1$时刻的输出$X(t_1)$为一个随机变量。显然$t_2$时刻的输出$X(t_2)$也为随机变量。就这样，在时间轴上的一系列随机变量 { X ( t 1 ) , X ( t 2 ) , … } \{X(t_1),X(t_2),\ldots\} { X(t1​),X(t2​),…}构成了随机过程$X(t)$。

同样，随机过程所包含的随机变量的个数可以是有限个，也可以是无限多。如果是无限多，则在时间上是连续的；如果是有限多，则在时间上是离散的。时间上离散的随机过程，我们也常称之为随机序列。

2、平稳性与遍历性

  随机过程有两个重要的性质，平稳性和遍历性（也称各态历经性）。如果随机过程具有这两个性质，其分析过程就可以简化。

2.1 平稳性

  我们先来看$N$阶平稳和严格平稳的定义。

如果随机过程$X(t)$对于任意的时刻$t_1,t_2,\dots ,t_N$，都有其$N$维联合概率密度函数
$$p_X(x_1,x_2,\dots ,x_N;t_1,t_2,\dots ,t_N)=p_X(x_1,x_2,\dots ,x_N;t_1+t_0,t_2+t_0,\dots ,t_N+t_0)$$其中$t_0$为任意时刻，则称$X(t)$为$N$阶平稳。此外，如果$X(t)$对于$N\to \infty$阶平稳，则称$X(t)$为严格平稳。

从上面定义中我们可以看出，平稳性这个词很准确表述了概率密度函数不随时间变化的意思，即表现出来时间上的不变性。因为我们在求统计平均的时候都会用到概率密度函数，因此概率密度函数的平稳也就决定了均值、方差以及高阶矩等统计特性的平稳性。

2.2 遍历性

  如果一个随机过程的集合平均，等于任意样本函数的时间平均，则我们称该随机过程为遍历的（或各态历经的），并且

• 如果一个随机过程是遍历的，则所有的时间平均和集合平均可以互换。
• 遍历的随机过程一定是平稳的。
    如果说平稳性把对随机过程的分析简化成对于随机变量的分析，遍历性进一步把对随机变量的分析简化为对确定函数的时间分析。遍历性这个词也很准确描述了这样一个性质，即在时间维度上，任何一个样本函数都能够把该随机过程所有的随机状态历经到。特别注意的是，遍历的随机过程一定是平稳的。

  作为例子，我们先来看随机随机过程$X(t)$的均值，即一阶原点矩：
$$m_X(t)=\mathrm{E}[X(t)]={\int }_{-\infty }^{\infty }x{p}_X(x;t)dx$$为关于时间的确定函数。如果$X(t)$是一阶平稳的，则一阶概率密度函数不随时间$t$变化，则其均值$\mathrm{E}[X(t)]=m_X$也不随时间$t$变化，我们称$X(t)$为均值平稳。再进一步，若$X(t)$为遍历的，$X_j(t)=X(A_j,t)$为其任一样本函数，则有
$$\begin{array}{rl}{m}_X(t)& =\mathrm{E}[X(t)]={\int }_{-\infty }^{\infty }x{p}_X(x;t)dx\\ & =\overline{X_j(t)}=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_{-\frac{T}{2}}^{\frac{T}{2}}{X}_j(t)dt,\end{array}$$即随机过程的统计平均等于样本函数的时间平均，注意这里的样本函数是确定函数。

3、自相关函数与广义平稳

3.1 自相关函数与自协方差函数

  对任意的两个时刻$t_1,t_2$，实随机过程$X(t)$的自相关函数(auto-correlaton function, ACF)定义为
$$R_X(t_1,t_2)=\mathrm{E}\left[X(t_1)X(t_2)\right]={\int }_{-\infty }^{\infty }{x}_1{x}_2{p}_X(x_1,x_2;t_1,t_2)d{x}_{1}d{x}_2,$$它定义了随机变量$X(t_1)$和$X(t_2)$之间的二阶混合原点矩或称相关矩，而实随机过程$X(t)$的自协方差函数（二阶混合中心距）定义为
C X ( t 1 , t 2 ) = E { [ X ( t 1 ) − m X ( t 1 ) ] [ X ( t 2 ) − m X ( t 2 ) ] } = ∫ − ∞ ∞ [ x 1 − m X ( t 1 ) ] [ x 2 − m X ( t 2 ) ] p X ( x 1 , x 2 ; t 1 , t 2 ) d x 1 d x 2 . \begin{aligned} C_X(t_1,t_2)&={\rm E}\left\{[X(t_1)-m_X(t_1)][X(t_2)-m_X(t_2)] \right\}\\ &=\int_{-\infty}^{\infty}[x_1-m_X(t_1)][x_2-m_X(t_2)]p_X(x_1,x_2;t_1,t_2)dx_1dx_2. \end{aligned} CX​(t1​,t2​)​=E{ [X(t1​)−mX​(t1​)][X(t2​)−mX​(t2​)]}=∫−∞∞​[x1​−mX​(t1​)][x2​−mX​(t2​)]pX​(x1​,x2​;t1​,t2​)dx1​dx2​.​显然，有
$$C_X(t_1,t_2)=R_X(t_1,t_2)-m_X(t_1)m_X(t_2)$$成立。如果对于任意的$t_1$，$t_2$都有$C_X(t_1,t_2)=0$，则称随机过程任意两个时刻是不相关的。

3.2 广义平稳

  如果随机过程$X(t)$满足

1. $\mathrm{E}[X(t)]=m_X(t)=$常数；
2. $R_X(t_1,t_2)=R_X(\tau ),\tau =t_1-t_2$;

则称X(t)为广义平稳（wide-sense stationary，W.S.S.)。上面第一个条件意味着$X(t)$是均值平稳的，第二个条件意味着$X(t)$的自相关函数与$t_1$，$t_2$的绝对时刻无关，只与两个时刻之间的间隔大小$\tau$有关系。
  广义平稳随机过程的自相关函数有如下几个性质

1. $R_X(\tau )=R_X(-\tau )$;
2. $R_X(0)\ge R_X(\tau )$;
3. $R_X(0)=\mathrm{E}[X^2(t)]$.

性质3表明，$R_X(0)$等于$X(t)$的均方值。

4、功率谱密度与Wiener-Khintchine 定理

4.1 随机过程功率谱密度函数定义

  随机过程$X(t)$的功率谱密度函数定义为
$$P_X(f)=\underset{T\to \infty }{\lim }\left\{\frac{\mathrm{E}[|X_T(f)|]}{T}\right\},$$其中
$$X_T(f)={\int }_{-\infty }^{\infty }{x}_T(t)e^{-j2\pi ft}dt={\int }_{-\frac{T}{2}}^{\frac{T}{2}}x(t)e^{-j2\pi ft}dt,$$$x_T(t)$为随机过程$X(t)$在$[-\frac{T}{2},\frac{T}{2}]$上的截断函数。

4.2 Wiener-Khintchine 定理

  如果$X(t)$为广义平稳随机过程，则其功率谱密度函数为自相关函数的傅立叶变换，即
$$R_X(\tau )\stackrel{\mathcal{F}.\mathcal{T}.}{\leftrightarrow }{P}_X(f).$$

4.3 随机过程功率谱密度函数性质

  随机过程$X(t)$的功率谱密度函数$P_X(t)$具有如下性质

• $P_X(f)$总为实数；
• $P_X(f)\ge 0$；
• 如果$X(t)$为实随机过程，则$P_X(f)=P_X(-f)$；
• 随机信号$X(t)$的平均功率$P={\int }_{-\infty }^{\infty }{P}_X(f)df$，如果$X(t)$为W.S.S.，则$P={\int }_{-\infty }^{\infty }{P}_X(f)df=R_X(0)=\mathrm{E}[X^2(t)]$；

【证明】根据Wiener-Khintchine 定理，有
$$R_X(\tau )={\int }_{-\infty }^{\infty }{P}_X(f)e^{j2\pi f\tau }df,$$若$\tau =0$，有
$$R_X(0)={\int }_{-\infty }^{\infty }{P}_X(f)df=P.$$

• $P_X(0)={\int }_{-\infty }^{\infty }{R}_X(\tau )d\tau$.

5、遍历随机信号的物理参数

  若随机信号$X(t)$为遍历的，显然样本函数的时间平均与其统计平均是等效的。因此，《现代通信原理2.2：信号时间平均算子与信号物理参数》中对确定信号物理参数的定义，就可以推广到随机信号。用$\xi (t)$表示$X(t)$的样本函数，则有

• 直流
  $$X_{\mathrm{D}\mathrm{C}}=\overline{\xi (t)}=\mathrm{E}[X(t)]=m_X$$
• 归一化平均功率
  $$P\stackrel{△}{=}\overline{{\xi }^2(t)}=\mathrm{E}[X^2(t)]=R_X(0)=R_{\xi }(0)$$这里的$R_X(\tau )$为随机过程$X(t)$的自相关函数，$R_{\xi }(\tau )$为样本函数$\xi (t)$的自相关函数。
• 归一化直流功率
  P D C = △ ξ 2 ( t ) ‾ = { E [ X ( t ) ] } 2 = m X 2 P_{\rm DC}\overset{\triangle}{=}\overline{\xi^2 (t)}=\{ {\rm E}[X(t)]\}^2=m_X^2 PDC​=△ξ2(t)​={ E[X(t)]}2=mX2​
• 归一化交流功率
  $$P_{\mathrm{A}\mathrm{C}}\stackrel{△}{=}\overline{[\xi (t)-X_{\mathrm{D}\mathrm{C}}{]}^2}=\mathrm{E}[X(t)-m_X{]}^2=P-P_{\mathrm{D}\mathrm{C}}={\sigma }_X^2$$
• 均方根值(RMS)
  $$X_{\mathrm{r}\mathrm{m}\mathrm{s}}\stackrel{△}{=}\sqrt{\overline{{\xi }^2(t)}}=\sqrt{\mathrm{E}[X^2(t)]}=\sqrt{R_X(0)}=\sqrt{{\int }_{-\infty }^{\infty }{P}_X(f)df}$$