概率往往是反直觉的。

统计数字的概率

第一数字定律（本福特定律）：给定正整数N，统计从1到N!的所有数中，首位数字出现1的概率，为2的概率等等，直到为9的概率。

直观猜测可能是各约为KaTeX parse error: Expected '}', got 'EOF' at end of input: \frac{1]{9}，通过计算得出，以1为首的数字出现的概率最高，约为 $\frac{1}{3}$。

不仅仅是阶乘，还有斐波那契，素数数列等等，且从1到9为首位出现的概率递减。

概率公式

条件概率

$P(A|B) = \frac{P(AB)} {P(B)}$

全概率公式

$P(A) = \sum_i^NP(A|B_i)P(B_i)$

贝叶斯公式

$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_jP(A|B_j)P(B_j)}$

是条件概率 + 全概率公式的综合运用。

贝叶斯例题

8支步枪中5支校准过，3支未校准过。射手用校准过的枪射击，中靶概率是0.8，未校准的枪射击，中靶概率0.3。现在随机抽取一把枪射击，结果中靶，那么这把枪是已经校准过的概率是多少。

Ans：
问题描述如下：
$P(G = 1) = \frac{5}{8} \\ P(G = 0) = \frac{3}{8} \\ P(A=1 | G=1) = 0.8 \\ P(A=0 | G=1) = 0.2 \\ P(A = 1 | G=0) = 0.3 \\ P(A = 0 | G = 0) = 0.7 \\ 求：P(G=1 | A = 1) = ?$
问题变换：
$P(G=1 | A = 1) = \frac{P(G=1, A = 1)}{P(A=1)} \\ = \frac{P(A=1 | G =1) P(G=1)}{P(A=1)} \\ = \frac{P(A=1 | G =1) P(G=1)}{P(A=1 | G=0)P(G=0) + P(A=1|G=1)P(G=1)} \\ = \frac{0.8 \times \frac{5}{8}}{0.3 \times \frac{3}{8} + 0.8 \times \frac{5}{8} } \\ = 0.8163$

机器学习中的贝叶斯

给定若干样本x，计算参数 $\theta$:

$P(\theta | x) = \frac{P(x | \theta)P(\theta)}{P(x)}$

其中：

$P(\theta)$: 没有数据支持时， $\theta$发生的概率，称作先验概率。
$P(\theta | x)$: 有数据支持时， $\theta$发生的概率，称作后验概率。
$P(x | \theta)$: 给定参数 $\theta$时，数据的分布。

END.