本文的最重要的一个定理，中心极限定理（CLT）：

任何函数多次与自身进行卷积运算之后，都会逼近某高斯分布，即

$$\lim_{n\to \infty} f(x)*...*f(x) = \lim_{n\to \infty}f^{*n}(x) =\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

为了方便起见，我们将标准正态分布的情况，更一般的证明可以通过本文证明的标准正态分布通过缩放、位移得到。

---

我们回忆一下概率论几个定义或定理:
设$p(x)$为概率密度分布，$P(a\leq x\leq b)$为$X$在$[a,b]$内的概率，则
$p(x)\geq 0$
$P(a\leq x\leq b)=\int_{a}^{b}p(x)dx$
$F(x)=P(X\leq x)=\int_{-\infty}^{x}p(x)dx$
$P(-\infty\leq x \leq +\infty) = 1$，
$平均值\overline{x} = \int_{-\infty}^{\infty}xp(x)dx$， $标准差s= \int_{-\infty}^{\infty}x^2p(x)dx$

若$X$的概率密度为$f(X)$，则$aX$的概率密度为$\frac{1}{a}f(\frac{X}{a}) \tag1$

简单证明一下最后一条：
设$X$的概率密度为$f(X)$，则对于$Y=kX,k>0$

$$F(y)=P(Y\leq y)=P(kX\leq y)=P(X\leq \frac{y}{k})=\int_{-\infty}^{ \frac{y}{k}}p(x)dx$$

对其求导，利用定积分求导公式可得：

$$\begin{align*} f(y)=\frac{dF(y)}{dy}&=p\left(\frac{y}{k} \right )\frac{d\left(\frac{y}{k}\right)}{dy} -\lim_{c\to -\infty} p(c)\frac{dc}{dy}\\ &=\frac{1}{k}p\left(\frac{y}{k} \right ) \end{align*}$$

将变量$y$用变量$x$替换即得证

---

设$X_1$，$X_2$为独立的随机变量，那么

$$P(X_1+X_2\leq t) = \iint_{X_1+X_2\leq t} p_1(X_1)p_2(X_2)dX_1dX_2$$

令$u=X_1, v=X_1+X_2$，则$X_1=u, X_2=v-u$，运用雅可比变换，有：

$$\begin{align*} P(X_1+X_2\leq t) &=\iint_{v\leq t} p_1(u)p_2(v-u)\begin{vmatrix} \frac{\partial X_1}{\partial u} & \frac{\partial X_1}{\partial v} \\ \frac{\partial X_2}{\partial u} & \frac{\partial X_2}{\partial v} \\ \end{vmatrix}dudv\\ &=\int_{-\infty}^{t}\int_{-\infty}^{+\infty}p_1(u)p_2(v-u)dudv\\ &=\int_{-\infty}^{t}(p_1*p_2)(v)dv \end{align*}$$

因此，$X_1+X_2$的概率密度，就是$p_1$与$p_2$的卷积
不难证明，$X_1+\dots+X_n$的概率密度，可以由$p_1*\dots*p_n$来表示，即

$$p(X_1+\dots+X_n)=p_1*\dots*p_n\tag2$$

---

我们设$X_1+\dots+X_n$有相同的概率分布$p(x)$（即独立同分布iid）。方便起见，设他们分别的平均值为$0$，标准差为$1$，即：
$\overline{x} = \int_{-\infty}^{\infty}xp(x)dx=0$
$s= \int_{-\infty}^{\infty}x^2p(x)dx=1$

设${\scr S}=X_1+\dots+X_n$，则${\scr S}$的平均值为$0$，方差为$1$，标准差为$\sqrt n$

接下来我们证明中心极限定理（CLT）：

设$p_n(x)$为$\frac{{\scr S}}{\sqrt{n}}$的概率密度（这样标准差就为$1$），则

$$\lim_{n\to \infty} p_n(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$$

证明如下：

由$(2)$式可知，$p({\scr S})=p_1*\dots*p_n$，而$p_n(x)$相当于$p({\scr S})$的缩放，根据$(1)$知，

$$p_n(x) = \sqrt{n}p\left(\sqrt{n} {\scr S} \right) = \sqrt{n}p^{*n}(\sqrt{n} x)$$

对进行傅里叶变换，并根据傅里叶变换的拉伸性，有：

$$\begin{align*} {\scr F}(p_n(x)) &= \sqrt{n}{\scr F}(p^{*n}(\sqrt{n} x))\\ &=\sqrt{n}(\frac{1}{\sqrt{n}}({\scr F}(p^{*n}))(\frac{s}{\sqrt{n}}))\\ &=({\scr F}(p^{*n}))(\frac{s}{\sqrt{n}})\\ &=({\scr F}p)^{n}(\frac{s}{\sqrt{n}})\\ &=({\scr F}p(\frac{s}{\sqrt{n}}))^{n}\tag 3 \end{align*}$$

我们将${\scr F}p(\frac{s}{\sqrt{n}})$展开，有：

$${\scr F}p(\frac{s}{\sqrt{n}})=\int_{-\infty}^{+\infty}e^{-2\pi i (\frac{s}{\sqrt n})x} p(x)dx$$

对$e^{-2\pi i (\frac{s}{\sqrt n})x}$用泰勒展开，有：

$$\begin{align*} {\scr F}p(\frac{s}{\sqrt{n}})&=\int_{-\infty}^{+\infty}\left [ 1-\frac{2\pi i sx}{\sqrt{n}} - \frac{1}{2}\left(\frac{2\pi s x}{\sqrt \pi} \right)^2 + \dots \right] p(x)dx\\ &=\int_{-\infty}^{+\infty}p(x)dx - \frac{2\pi i s}{\sqrt{n}}\int_{-\infty}^{+\infty}xp(x)dx-\\ &=1-0-\frac{2\pi ^2 s^2}{n}+o\left(\frac{1}{\sqrt n}^3 \right) \end{align*}$$

显然，当$n\to \infty$时，${\scr F}p(\frac{s}{\sqrt{n}})\approx 1-\frac{2\pi ^2 s^2}{n}$，将其带入$(3)$式，可得

$$({\scr F}p(\frac{s}{\sqrt{n}}))^{n} \approx \left(1-\frac{2\pi ^2 s^2}{n} \right)^n=\left(\left(1+\frac{-2\pi ^2 s^2}{n} \right)^{\frac{n}{-2\pi ^2 s^2}} \right)^{-2\pi ^2 s^2}=e^{-2\pi ^2 s^2}$$

对其进行傅里叶逆变换，运用傅里叶变换的拉伸性对高斯函数进行拉伸可得：

$$\lim_{n\to \infty} p_n(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$$

得证。