条件概率

一些概率的概念

①先验概率：可以理解为我们在这个事件发生之前，估计事件发生生的概率，如：掷硬币正面向上的概率为0.5，反面向上的概率为0.5。

$P(A) = 0.5,P(B) = 0.5$

②条件概率：在已知某种条件的情况下，事件发生的概率，如：已知我们的硬币两面都是正面，那么我们掷硬币正面朝上的概率为1，反面朝上为0。

$P(A|C) = 1,P(B|C) = 0$

③后验概率：后验概率属于条件概率，但从逻辑上同先验概率相区分，后验概率可以理解为事情已经发生，求这件事情是由某个因素导致的可能性的大小。如：已知两次掷硬币都是正面（事情已经发生），那么第二次掷硬币是正面的概率为1，反面为0（导致事件的因素的概率）。

全概率公式

如果事件 $B_1,B_2...B_n$ 构成一个完备事件组，即它们两两互不相容，其和为全集，则对于任意事件A有：

$p(A) = p(A|B_1)p(B_1) + p(A|B_2)p(B_2) + ...+p(A|B_n)p(B_n)$

贝叶斯公式

通过贝叶斯公式，我们可以将后验概率通过条件概率和先验概率表示，达到由结果推导事件起因的目的。

$p(A) = p(A|B_1)p(B_1) + p(A|B_2)p(B_2) + ...+p(A|B_n)p(B_n)$

数字特征

数学期望

离散型分布： $E(X) = \sum_{k = 1}^\infty X_k p_k$

连续型分布： $E(x) = \int_{-\infty}^\infty xf(x)dx$

方差

$D(X) = Var(X) = E\{[X - E(X)]^2\} \\ D(X) = E(X^2) - (E(X))^2$

标准差： $\sigma (X) = \sqrt{D(X)}$

协方差

$Cov(X,Y) = E \{[X - E(X)][Y-E(Y)]\}$

协方差矩阵：

$C =\begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \\ \end{bmatrix}$

其中：

$C_{ij} = \{[X_i - E(X_i)][X_j - E(X_j)]\}$

矩

X的k阶矩： $E(x^k) , k=1,2,...$

X的k阶中心距： $E\{[X-E(X)]^k\},k=1,2,...$

X和Y的k+l混合矩： $E(X^kY^l),k,l = 1,2,...$

X和Y的k+l混合中心距： $E\{[X-E(X)]^k[Y-E(Y)]^l\},k,l = 1,2,...$

概率密度函数

均匀分布

X在区间（a，b）上服从均匀分布，数学表示： $X\sim U(a,b)$

概率密度函数：

$f(x) = \begin{cases} \frac{1}{b-a}&a<x<b \\ 0&else \end{cases}$

分布函数：

$F(x) = \int_{-\infty}^xf(t)dt = \begin{cases} 0 & x<a \\ \frac{x-a}{b-a}&a\le x<b \\ 1 & x\ge b \end{cases}$

数字特征：

$E(x) = \frac{a+b}{2} \\ D(x) = \frac{(b-a)^2}{12}$

指数分布

X服从参数为 $\theta$ 的指数分布，数学表示： $X \sim E(1/\theta)$ ，其中 $\theta>0$ 为常数。

在部分教材中也会写为X服从参数为 $\lambda$ 的指数分布：数学表示为： $X \sim E(\lambda)$ ，其中 $\lambda = 1/\theta$ 。

概率密度函数：

$f(x) = \begin{cases} \frac{1}{\theta}e^{-x/\theta} & x>0 \\ 0&else \end{cases}$

分布函数：

$F(x) = \begin{cases} 1 - e^{-x/\theta} & x>0 \\ 0&else \end{cases}$

数学特征：

$E(X) = \theta \\ E(X) = \theta ^2$

高斯分布（正态分布）

X服从均值为 $\mu$ 方差为 $\sigma$ 的高斯分布，数学表示： $X \sim (\mu,\sigma)$ 。

概率密度函数：

$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-{\frac{(x-\mu)^2}{2\sigma ^2}}}$

分布函数：

$F(x) = \frac{1}{\sqrt{2\pi}} \int _{-\infty}^x e^{-\frac{(t-\mu)^2}{2\sigma^2}dt}$

数学特征：

$E(X) = \mu \\ D(X) = \sigma^2$

伽马分布

X服从形状参数为 $\alpha$ 尺度参数为 $\beta$ 的伽马分布，数学表示： $X \sim \Gamma(\alpha , \beta)$ 。

概率密度函数：

$f(x) = \frac{x^{\alpha-1} e^{-x/\beta}}{\beta^\alpha \Gamma(\alpha)} , x>0$

其中，当 $\alpha$ 为整数时：

$\Gamma(\alpha) = (a-1)!,a \in Z^+$

当 $\alpha$ 为任意复数时：

$\Gamma(\alpha) = \int_0^\infty e^{-t}t^{\alpha -1}dt , Re(\alpha>0)$

伽马函数具有几个特例：

$\Gamma(1) = \Gamma(2) = 1 \\ \Gamma(1/2) = \sqrt \pi \\ \Gamma(z+1) = z\Gamma(z) \\ \frac{\Gamma(\alpha)}{\lambda^m} = \int_0^m x^{m-1}e^{-\lambda x}dx$