1.最小二乘法

最小二乘法的定义

简单的定义：有一个点集，在坐标轴上可以用一条直线 $f(t)=at+b$ 来进行拟合。通过点集上的点到直线的距离最小的和：
$M=\sum\limits^n_{i=0} {|y_i-f(t_i)|}$
来确定这条直线是否为最合适的。
这种根据偏差的平方和为最小的条件来选择常数a、b的方法就做最小二乘法。

多元函数的极值及其求法

设函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 具有偏导数，且在点$ (x_0,y_0)$处有极值，则有
$f_x(x_0,y_0)=0, f_y(x_0,y_0)=0$

最小二乘法的求解方法

把上述的求和函数看成与自变量a和b相对应的因变量，可以归结为函数
$ M=M(a,b)$
要求得M的最小值
可以通过以下的方程组进行求解a,b

\begin{cases}
M_a(a,b)=0,\
M_b(a,b)=0
\end{cases}
求得 a和b的值，就可以得到一个经验公式进行值的估计。

2.全概率公式

全概率公式的条件：
设 $B_1,B_2,...$为有限或无限个事件，他们两两互斥且在每次试验中至少发生一个，用式表之：
$B_iB_j=\varnothing(不可能时间)，当i\neq j $
$B_1+B_2+...=\Omega(必然事件)$
全概率公式如下：
$P(A)=P(AB_1)+P(AB_2)+...+P(AB_n)$
$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n)$

一般理解，事件A时在 $某种事件途径B_i$条件下产生的，但时那种途径时随机的，所以事件A发生的综合概率 $P(A)$应该在 $P(A|B_i)$的最大和最小值之间，但也不一定是算数平均，这里取的是加权平均。

3.贝叶斯公式

贝叶斯公式推导
$P(B|A) = P(AB_i)/P(A)$
$P(B|A) = P(B_I)P(A|B_i)/\sum\limits_j{P(B_j)P(A|B_j)}$

如果我们把事件A看成“结果”，把诸事件 $B_1,B_2,...$看成导致这结果的可能的“原因”，则可以形象地把全概率公式看作成为“由原因推结果”；而贝叶斯公式则恰好相反，起作用在于“由结果推原因”；现有一个结果“A”已经发生，在众多可能的“原因”中，到底是哪一个导致了这结果？贝叶斯公式说，个原因可能性大小与 $P(B_i|A)$成比例

4.协方差