本文已参与「新人创作礼」活动，一起开启掘金创作之路。
1. 回顾机器学习的基本思想
机器学习所要实现多任务往往是：给定一组训练数据
D
D
D
D
D
D
然而，在没有任何假设的情况下，直接学习概率分布是不现实的。直接学习概率分布的一种最简单最暴力的方法，就是把空间分成很多小的单元，然后统计样本落在每个单元的频率，作为每个单元的概率分布（每个单元近似成一个均匀分布）。但是这种方法的确定很明显：数据不足、有噪音、存储能力受限等。单元分割得越细，得到的概率分布就越准确，但是这就需要越多的数据来训练，也需要越多的存储空间来存储。当考虑的空间是n维时，所需要的空间就是单元个数的n次方，这样会出现维度爆炸的情况。
因此，在大多数情况下，我们都会人为指定某种概率分布。例如，指定数据服从高斯分布或者伯努利分布等。这样，对概率分布函数的学校就简化为了对指定的函数参数的学习，这样一方面降低了学习的难度，另一方面也减少了存储空间（只需要存储我们感兴趣的统计量，例如对于高斯分布只需要存储均值和方差；对于伯努利分布，只需要存储正类的概率）。这种方法需要根据不同的问题选择不同的分布，需要一定先验知识。
指数族分布就是一类常用的分布模型，它有很多优良的性质，利用指数族分布假设来推导出的线性模型成为广义线性模型，Generalized Linear Model(GLM) 。下面我们介绍指数族分布的由来。
2. 指数族分布
2.1. 指数族分布由来的推导
我们这里讨论的是离散模型的指数族分布。 设
X
(
i
)
X^{(i)}
X ( i )
i
i
i
T
(
X
(
i
)
)
T(X^{(i)})
T ( X ( i ) )
i
i
i
T
(
X
(
i
)
)
=
[
x
,
x
2
,
⋯
]
T(X^{(i)})=[x,x^2,\cdots]
T ( X ( i ) ) = [ x , x 2 , ⋯ ]
T
(
X
(
i
)
)
T(X^{(i)})
T ( X ( i ) )
p
p
p
E
p
[
T
(
X
)
]
=
μ
^
(2-1)
\mathbb{E}_p[T(X)] = \hat{\mu}\\ \tag{2-1}
E p [ T ( X ) ] = μ ^ ( 2 - 1 )
其中
μ
^
=
1
n
∑
i
=
1
m
T
(
X
(
i
)
)
(2-2)
\hat{\mu} = \frac{1}{n}\sum_{i=1}^mT(X^{(i)})\\ \tag{2-2}
μ ^ = n 1 i = 1 ∑ m T ( X ( i ) ) ( 2 - 2 )
简单来说，就是我们希望概率模型的统计量的期望等于所有训练数据的统计量的均值，这个希望是非常合理、自然的。
除此之外，我们还希望我们的概率模型要有最大的信息熵，也即满足最大熵原理 ，这是因为在没有更多的信息的情况下，我们希望我们的概率模型有最大的不确定性，也即能够涵盖更多的可能性。
为此，我们可以将上述目标写成如下的最优化问题：
p
∗
(
x
)
=
argmax
p
(
x
)
−
∑
x
p
(
x
)
log
p
(
x
)
s.t.
∑
x
T
(
x
)
p
(
x
)
=
μ
^
∑
x
p
(
x
)
=
1
(2-3)
\begin{aligned} p^*(x) = &\mathop{\text{argmax}}\limits_{p(x)} \ -\sum_x p(x)\log p(x) \\ {\text{s.t.}} &\sum\limits_x T(x)p(x) = \hat{\mu} \\ &\sum\limits_x p(x) = 1 \\ \tag{2-3} \end{aligned}
p ∗ ( x ) = s.t. p ( x ) argmax − x ∑ p ( x ) log p ( x ) x ∑ T ( x ) p ( x ) = μ ^ x ∑ p ( x ) = 1 ( 2 - 3 )
这是一个仅含等式约束的凸优化问题，可以用Lagrange对偶方法来求解。 Lagrange函数为：
L
(
x
,
η
,
λ
)
=
−
∑
x
p
(
x
)
log
p
(
x
)
+
η
T
(
∑
x
T
(
x
)
p
(
x
)
−
μ
^
)
+
λ
(
∑
x
p
(
x
)
−
1
)
=
∑
x
(
−
p
(
x
)
log
p
(
x
)
+
η
T
T
(
x
)
p
(
x
)
+
λ
p
(
x
)
)
−
η
T
μ
^
−
λ
(2-4)
\begin{aligned} L(x,\eta,\lambda)& = -\sum_x p(x)\log p(x) + \eta^T(\sum_x T(x)p(x) - \hat{\mu}) + \lambda(\sum_x p(x) - 1) \\ &= \sum_x (-p(x)\log p(x) + \eta^TT(x)p(x) + \lambda p(x)) - \eta^T\hat{\mu} - \lambda\\ \tag{2-4} \end{aligned}
L ( x , η , λ ) = − x ∑ p ( x ) log p ( x ) + η T ( x ∑ T ( x ) p ( x ) − μ ^ ) + λ ( x ∑ p ( x ) − 1 ) = x ∑ ( − p ( x ) log p ( x ) + η T T ( x ) p ( x ) + λ p ( x ) ) − η T μ ^ − λ ( 2 - 4 )
由于
(
2
−
3
)
(2-3)
( 2 − 3 )
(
2
−
4
)
(2-4)
( 2 − 4 )
p
(
x
)
p(x)
p ( x )
−
1
−
log
p
(
x
)
+
η
T
T
(
x
)
+
λ
=
0
(2-5)
-1-\log p(x) + \eta^TT(x) + \lambda = 0\\ \tag{2-5}
− 1 − log p ( x ) + η T T ( x ) + λ = 0 ( 2 - 5 )
可进一步得到：
p
(
x
)
=
exp
(
η
T
T
(
x
)
+
λ
−
1
)
=
exp
(
η
T
T
(
x
)
−
a
)
(2-6)
\begin{aligned} p(x) &= \exp(\eta^TT(x) + \lambda - 1) \\ &= \exp(\eta^TT(x) - a)\\ \tag{2-6} \end{aligned}
p ( x ) = exp ( η T T ( x ) + λ − 1 ) = exp ( η T T ( x ) − a ) ( 2 - 6 )
对
(
2
−
6
)
(2-6)
( 2 − 6 )
∑
x
p
(
x
)
=
1
=
∑
x
exp
(
η
T
T
(
x
)
−
a
)
(2-7)
\sum_x p(x) = 1 = \sum_x \exp(\eta^TT(x) - a)\\ \tag{2-7}
x ∑ p ( x ) = 1 = x ∑ exp ( η T T ( x ) − a ) ( 2 - 7 )
由上式可以得到
a
(
η
)
=
log
∑
x
exp
(
η
T
T
(
x
)
)
(2-8)
a(\eta) = \log\sum_x \exp(\eta^TT(x))\\ \tag{2-8}
a ( η ) = log x ∑ exp ( η T T ( x ) ) ( 2 - 8 )
令
η
′
T
=
η
T
\eta'^T =\eta^T
η ′ T = η T
T
′
(
x
)
=
T
(
x
)
log
b
(
x
)
T'(x) = T(x) \log b(x)
T ′ ( x ) = T ( x ) log b ( x )
p
(
x
)
p(x)
p ( x )
p
(
y
;
η
)
=
b
(
y
)
exp
(
η
T
T
(
y
)
−
a
(
η
)
)
(2-9)
p(y;\eta) = b(y)\exp(\eta^TT(y) - a(\eta))\\ \tag{2-9}
p ( y ; η ) = b ( y ) exp ( η T T ( y ) − a ( η ) ) ( 2 - 9 )
上式就是很多文献中常见的指数族分布 的概率密度函数表达式。
2.2. 指数族分布的特殊情形：伯努利分布和高斯分布
在
(
2
−
9
)
(2-9)
( 2 − 9 )
η
\eta
η
T
(
y
)
T(y)
T ( y )
T
(
y
)
=
y
T(y)=y
T ( y ) = y
a
(
η
)
a(\eta)
a ( η )
下面我们来说明一下，伯努利分布和高斯分布都是指数族分布的特殊情形。 假设伯努利分布的均值（也即取值为1的概率）为
ϕ
\phi
ϕ
p
(
y
;
ϕ
)
=
ϕ
y
(
1
−
ϕ
)
1
−
y
=
e
x
p
(
y
l
o
g
ϕ
+
(
1
−
y
)
l
o
g
(
1
−
ϕ
)
)
=
e
x
p
(
(
l
o
g
ϕ
1
−
ϕ
+
l
o
g
(
1
−
ϕ
)
)
)
(2-10)
\begin{aligned} p(y;\phi)&=\phi^y(1-\phi)^{1-y}\\ &=exp(ylog{\phi}+(1-y)log{(1-\phi)})\\ &=exp\left(\left(log{\frac{\phi}{1-\phi}}+log{(1-\phi)}\right)\right)\\ \tag{2-10} \end{aligned}
p ( y ; ϕ ) = ϕ y ( 1 − ϕ ) 1 − y = e x p ( y l o g ϕ + ( 1 − y ) l o g ( 1 − ϕ ) ) = e x p ( ( l o g 1 − ϕ ϕ + l o g ( 1 − ϕ ) ) ) ( 2 - 1 0 )
η
\eta
η
l
o
g
ϕ
1
−
ϕ
log{\frac{\phi}{1-\phi}}
l o g 1 − ϕ ϕ
η
\eta
η
ϕ
\phi
ϕ
ϕ
=
1
1
+
e
−
η
(2-11)
\phi=\frac{1}{1+e^{-\eta}}\\ \tag{2-11}
ϕ = 1 + e − η 1 ( 2 - 1 1 )
这其实就是sigmoid函数的表达形式 ！后面我们会再深入些讨论logistic回归和sigmoid函数。 此时，指数族分布中的参数对应地可以写成如下：
η
=
l
o
g
ϕ
1
−
ϕ
T
(
y
)
=
y
a
(
η
)
=
−
l
o
g
(
1
−
ϕ
)
=
l
o
g
(
1
+
e
η
)
b
(
y
)
=
1
(2-12)
\begin{aligned} \eta&=log{\frac{\phi}{1-\phi}}\\ T(y)&=y\\ a(\eta)&=-log{(1-\phi)}\\ &=log{(1+e^{\eta})}\\ b(y)&=1\\ \tag{2-12} \end{aligned}
η T ( y ) a ( η ) b ( y ) = l o g 1 − ϕ ϕ = y = − l o g ( 1 − ϕ ) = l o g ( 1 + e η ) = 1 ( 2 - 1 2 )
对于高斯分布，为了简化起见，我们这里考虑方差为1的情况。（这种简化是有意义的，尤其是在作为线性回归的铺垫的时候。因为在推导线性回归模型的时候，高斯分布的方差对后的优化目标无影响，因此可以选取任意的方差来进行推导说明）。令均值为
μ
\mu
μ
p
(
y
;
μ
,
δ
)
=
1
δ
2
π
e
x
p
(
−
1
2
δ
2
(
y
−
μ
)
2
)
=
1
δ
2
π
e
x
p
(
−
1
2
δ
2
y
2
)
e
x
p
(
μ
y
δ
2
−
1
2
δ
2
μ
2
)
(2-13)
\begin{aligned} p(y;\mu,\delta)&=\frac{1}{\delta\sqrt {2\pi}}exp{\left(-\frac{1}{2\delta^2}(y-\mu)^2\right)}\\ &=\frac{1}{\delta\sqrt {2\pi}}exp{\left(-\frac{1}{2\delta^2}y^2\right)}exp{\left(\frac{\mu y}{\delta^2}-\frac{1}{2\delta^2}\mu^2\right)}\\ \tag{2-13} \end{aligned}
p ( y ; μ , δ ) = δ 2 π
1 e x p ( − 2 δ 2 1 ( y − μ ) 2 ) = δ 2 π
1 e x p ( − 2 δ 2 1 y 2 ) e x p ( δ 2 μ y − 2 δ 2 1 μ 2 ) ( 2 - 1 3 )
对应的指数族分布的参数为：
η
=
μ
δ
2
T
(
y
)
=
y
a
(
η
)
=
1
2
δ
2
μ
2
=
δ
2
2
η
2
b
(
y
)
=
1
δ
2
π
e
x
p
(
−
1
2
δ
2
y
2
)
(2-14)
\begin{aligned} \eta&=\frac{\mu}{\delta^2}\\ T(y)&=y\\ a(\eta)&=\frac{1}{2\delta^2}\mu^2\\ &=\frac{\delta^2}{2}\eta^2\\ b(y)&=\frac{1}{\delta\sqrt {2\pi}}exp{\left(-\frac{1}{2\delta^2}y^2\right)}\\ \tag{2-14} \end{aligned}
η T ( y ) a ( η ) b ( y ) = δ 2 μ = y = 2 δ 2 1 μ 2 = 2 δ 2 η 2 = δ 2 π
1 e x p ( − 2 δ 2 1 y 2 ) ( 2 - 1 4 )
从上式我们可以得到：
y
^
=
E
(
y
∣
x
;
μ
,
δ
)
=
μ
=
δ
2
⋅
η
(2-15)
\hat y=E(y|x;\mu,\delta)=\mu=\delta^2\cdot\eta\\ \tag{2-15}
y ^ = E ( y ∣ x ; μ , δ ) = μ = δ 2 ⋅ η ( 2 - 1 5 )
2.3. 关于参数
η
\eta
η
在2.1.节中，我们其实并没有求出
η
\eta
η
η
\eta
η
η
\eta
η
(
2
−
2
)
(2-2)
( 2 − 2 )
argmax
η
L
(
p
(
D
∣
η
)
)
=
argmax
η
p
(
D
∣
η
)
=
argmax
η
∑
i
=
1
m
(
η
T
T
(
X
(
i
)
)
−
a
(
η
)
)
(2-16)
\begin{aligned} \mathop{\text{argmax}}\limits_{\eta} \ &L(p(D|\eta)) \\ &= \mathop{\text{argmax}}\limits_{\eta} \ p(D|\eta) \\ &= \mathop{\text{argmax}}\limits_{\eta} \ \sum_{i=1}^m (\eta^T T(X^{(i)}) - a(\eta))\\ \tag{2-16} \end{aligned}
η argmax L ( p ( D ∣ η ) ) = η argmax p ( D ∣ η ) = η argmax i = 1 ∑ m ( η T T ( X ( i ) ) − a ( η ) ) ( 2 - 1 6 )
不失一般性，我们这里仅给出
η
\eta
η
η
\eta
η
∑
i
=
1
m
T
(
X
(
i
)
)
−
m
∂
a
(
η
)
∂
η
=
0
(2-17)
\sum_{i=1}^m T(X^{(i)})- m\frac{\partial{a(\eta)}}{\partial{\eta}}=0\\ \tag{2-17}
i = 1 ∑ m T ( X ( i ) ) − m ∂ η ∂ a ( η ) = 0 ( 2 - 1 7 )
求得：
∂
a
(
η
)
∂
η
=
1
m
∑
i
=
1
m
T
(
X
(
i
)
)
=
μ
^
(2-18)
\frac{\partial{a(\eta)}}{\partial{\eta}}=\frac{1}{m}\sum_{i=1}^m T(X^{(i)})=\hat\mu\\ \tag{2-18}
∂ η ∂ a ( η ) = m 1 i = 1 ∑ m T ( X ( i ) ) = μ ^ ( 2 - 1 8 )
也即，用极大似然估计的方法也满足
(
2
−
2
)
(2-2)
( 2 − 2 )
2.4. 用广义线性模型(GLM)来对问题进行建模的几个基本假设
下面我们来总结一下，利用GLM对问题建模的三个基本假设
y
∣
x
;
θ
∼
E
x
p
o
n
e
n
t
i
a
l
F
a
m
i
l
y
(
η
)
y|x;\theta\sim ExponentialFamily(\eta)
y ∣ x ; θ ∼ E x p o n e n t i a l F a m i l y ( η )
x
x
x
θ
\theta
θ
θ
\theta
θ 给定
x
x
x
y
y
y
T
(
y
)
T(y)
T ( y )
y
y
y
指数族分布的参数
η
\eta
η
x
x
x
y
=
w
T
x
+
b
y=w^Tx+b
y = w T x + b
x
0
=
1
,
θ
=
[
w
;
b
]
x_0=1,\theta=[w;b]
x 0 = 1 , θ = [ w ; b ]
η
=
θ
T
x
\eta=\theta^Tx
η = θ T x