目录

线性回归

线性基函数模型

最简单的线性回归模型形式如下：

$$\begin{align} y(\textbf{x},\textbf{w})=w_0+w_1x_1+...w_Dx_D \end{align}$$
其中 $\textbf{x}=(x_1,...x_D)^T$, $y$是输入变量 $x_i$的线性组合，这种模型具有很大局限性。

模型定义

由于上述模型表示能力的局限性，我们可以将其扩展为输入变量通过有限个非线性函数转换后的线性组合，如下式所示：

$$\begin{align} y(\textbf{x},\textbf{w})=w_0+\sum^{M-1}_{j=1}w_j\phi_j(\textbf{x}) \end{align}$$
这里 $\phi(\textbf{x})$就是 基函数。
我们可以添加一个基函数 $\phi_0$令 $\phi_0=1$,则上式可以改写为：
$$\begin{align} y(\textbf{x},\textbf{w})=\sum^{M-1}_{j=0}w_j\phi_j(\textbf{x})=\textbf{w}^T\phi(\textbf{x}) \end{align}$$
这里 $\textbf{w}=(w_0,...w_M-1)^T$， $\phi=(\phi_0,..., \phi_{M-1})^T$
基函数 $\phi_j(x)$可以有多种不同类型，常见的基函数有

• 多项式基函数：
  $$\begin{align} \phi_j(x)=x^j \end{align}$$
• 高斯基函数
  $$\begin{align} \phi_j(x)=exp\{-\frac{(x-u_j)^2}{2s^2}\} \end{align}$$
  这里$u$控制位置，$s$控制跨度
• sigmoidal基函数
  $$\begin{align} \phi_j(x)=\sigma(\frac{x-u_j}{s}) \end{align}$$
  $$\begin{align} \sigma(a)=\frac{1}{1+exp(-a)} \end{align}$$

最大似然与最小二乘

最大似然估计可以求解式（3）所示的线性模型，下面我们来定义一下问题，假设目标值$t$是由函数$y(\textbf{x},\textbf{w})$加上一个白噪声构成，形式如下：

$$\begin{align} t=y(\textbf{x},\textbf{w})+\epsilon \end{align}$$
这里 $\epsilon$是均值为0，精度（precision）为 $\beta$的白噪声，可以改写为如下形式：
$$\begin{align} p(t|\textbf{x},\textbf{w},\beta)=N(t|y(\textbf{x},\textbf{w}),\beta^{-1}) \end{align}$$
当存在一组训练集 $\textbf{X}=\{\textbf{x}_1,...\textbf{x}_N\}$以及和他们相对应的目标值 $\textbf{t}=\{t_1,...t_N\}$，这组数据的似然函数为以下形式：
$$\begin{align} p(\textbf{t}|\textbf{X},\textbf{w},\beta)=N(t_n|\textbf{w}^T\phi(\textbf{x}_n),\beta^{-1}) \end{align}$$
需要求上式最大值，等式两边取对数，单调性不变得到：
$$\begin{align} lnp(\textbf{t}| \textbf{w},\beta)=\frac{N}{2}ln\beta-\frac{N}{2}ln(2\pi)-\frac{\beta}{2}\sum_{n=1}^{N}\{t_n-\textbf{w}^T\phi(\textbf{x}_n)\}^2 \end{align}$$
上式有 $\beta,\textbf{w}$两个变量，由于是突函数，导数为0时取得极值，分别求导得到：
$$\begin{align} \textbf{w}_{ML}=(\Phi^T\Phi)^{-1}\Phi^T\textbf{t} \end{align}$$
这里 $\Phi$是n*m设计矩阵(design matrix),n为训练数据的数量，m为基函数的数量。
$\beta_{ML}$可以按照以下方式求得
$$\begin{align} \frac{1}{\beta_{ML}}=\frac{1}{N}\sum_{n=1}^N\{t_n-\textbf{w}_{ML}^T\phi(\textbf{x}_n)\}^2 \end{align}$$

在线学习（Sequential learning）

最大似然估计是一种批处理技术，模型在训练得时候需要获取全部数据，当数据量比较大得时候，训练需要消耗很多计算资源，现在学习技术可以客服上述问题，随机梯度（stochastic gradient descent）下降是一种在线学习技术，随机梯度下降工作方式如下，当每获得一个观测值，算法向误差梯度的反方向更新参数：

$$\begin{align} \textbf{w}^{\tau+1}=\textbf{w}^{\tau}+\eta(t_n-\textbf{w}^T\phi_n)\phi_n \end{align}$$
这里 $\tau$是迭代次数， $\eta$是学习率，学习率一般取一个相对小的值，如果取太大 $\textbf{w}$值左右摇摆，不收敛，如果取太小，收敛速度会比较慢。

正则化

最大似然估计容易遇到过度拟合（over fitting）的问题，正则化（regularization）可以帮助克服过度拟合,在误差函数中加入正则项：

$$\begin{align} E_D(\textbf{w})+\lambda E_W(\textbf{w}) \end{align}$$
当正则项定义为
$$\begin{align} E_W(\textbf{w})=\frac{1}{2}\textbf{w}^T\textbf{w} \end{align}$$
这时误差函数变为
$$\begin{align} E_W(\textbf{w})=\frac{1}{2}\sum_{n=1}^N\{t_n-\textbf{w}^T\phi(\textbf{x}_n)\}^2+\frac{\lambda}{2}\textbf{w}^T\textbf{w} \end{align}$$
这时候我们得到
$$\begin{align} \textbf{w}=(\lambda \textbf{I}+\Phi^T\Phi)^{-1}\Phi^T\textbf{t} \end{align}$$
误差函数还有更通用的形式：
$$\begin{align} E_W(\textbf{w})=\frac{1}{2}\sum_{n=1}^N\{t_n-\textbf{w}^T\phi(\textbf{x}_n)\}^2+\frac{\lambda}{2}\sum^M_{j=1}|w_j|^q \end{align}$$
q还被称为范数当 $q=1$时叫 $L1$范数（Lasso）， $q=2$时，叫 $L2$范数（Ridge),Ridge会倾向于选择较多较小的 $w_n$值，Lasso会趋向于产生少量的特征，而其他的特征都是0，所以 $L1$可以被用于特征选择。