1.多项式回归的原理及实现

笔记来源于《白话机器学习的数学》

1.1 多项式回归的原理

预测一个变量$x$与一个变量$y$的关系
例如：广告费$x$与点击量$y$
用曲线拟合数据
求导过程类比本人之前的博客进行推导，相关笔记：最小二乘法的原理及实现

n次曲线
$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+\cdots +{\theta }_n{x}^n$$
尽管次数越高对训练数据拟合越精确（过拟合）但我们的目的是用这个拟合曲线去预测训练数据之外的数据，需要这个曲线或模型具备泛化能力，而不是仅仅代表训练数据，过拟合使得模型不再具有代表性了，不能预测一般情形了

1.2 多项式回归的实现

广告费$x$与点击量$y$

import numpy as np
import matplotlib.pyplot as plt

# 读入训练数据
train = np.loadtxt('~/Downloads/sourcecode-cn/click.csv', delimiter=',', dtype='int', skiprows=1)
train_x = train[:,0] # 第一列
train_y = train[:,1] # 第二列

数据预处理步骤之一：对训练数据进行标准化 / 归一化，目的使得参数收敛会更快
计算出数据中所有x的均值 $\mu$ 和标准差 $\sigma$，每个数值x按照下列式子进行标准化

# 标准化
mu = train_x.mean()
sigma = train_x.std()
def standardize(x):
    return (x - mu) / sigma

train_z = standardize(train_x)
# 展示标准化后的数据
plt.plot(train_z, train_y, 'o')
plt.show()

# 参数初始化
theta = np.random.rand(3)

# 创建训练数据的矩阵
def to_matrix(x):
    return np.vstack([np.ones(x.size), x, x ** 2]).T

X = to_matrix(train_z)

由于训练数据有很多，所以我们把 1 行数据当作 1 个训练数据，以矩阵的形式来处理会更好。

# 预测函数
def f(x):
    return np.dot(x, theta)

# 目标函数
def E(x, y):
    return 0.5 * np.sum((y - f(x)) ** 2)

# 学习率
ETA = 1e-3
# 初始化误差的差值，随后作为循环结束判断依据
diff = 1
# 初始化更新次数
count = 0

参数的更新表达式（注意更新参数时所有参数必须同步更新，确保梯度方向保持稳定）

因为此例有三个参数${\theta }_0、{\theta }_1、{\theta }_2$，
法一：在循环体中直接用三个式子更新三个参数

法二：将参数更新式后半部分写为矩阵形式，一个式子更新三个参数



使用梯度下降法

# 直到误差的差值小于 0.01 为止，重复参数更新
error = E(X, train_y)
while diff > 1e-2:
    # 更新结果保存到临时变量
    # 这里使用矩阵直接计算出所有参数，而不是每个参数进行更新迭代
    theta = theta - ETA * np.dot(f(X) - train_y, X)

    # 计算与上一次误差的差值
    current_error = E(X, train_y)
    diff = error - current_error
    error = current_error

    # 输出日志
    count += 1
    log = '第 {} 次 : theta = {}, 差值 = {:.4f}'
    print(log.format(count, theta, diff))

# 绘图确认
x = np.linspace(-3, 3, 100)
plt.plot(train_z, train_y, 'o')
plt.plot(x, f(to_matrix(x)))
plt.show()

以重复次数为横轴，均方误差为纵轴绘图，随着迭代次数的增多，均方误差逐渐下降

# 均方误差
def MSE(x, y):
    return (1 / x.shape[0]) * np.sum((y-f(x))**2)

# 用随机值初始化参数
theta = np.random.rand(3)

# MSE的历史记录
errors = []

# 误差的差值
diff = 1

# 重复学习
errors.append(MSE(X, train_y))
while diff > 1e-2:
    theta = theta - ETA * np.dot(f(X) - train_y, X)
    errors.append(MSE(X, train_y))
    diff = errors[-2] - errors[-1]

# 绘制误差变化图
x = np.arange(len(errors))
plt.plot(x, errors)
plt.show()

上述过程采用了梯度下降法（使用所有训练数据）对目标函数进行优化，接下来我们使用随机梯度下降法（只使用一个训练数据）对目标函数进行优化
n次随机梯度下降(耗时相对短)等价于1次梯度下降(耗时相对长)

上图中 $k$ 是随机的

import numpy as np
import matplotlib.pyplot as plt

# 读入训练数据
train = np.loadtxt('~/Downloads/sourcecode-cn/click.csv', delimiter=',', dtype='int', skiprows=1)
train_x = train[:,0]
train_y = train[:,1]

# 标准化
mu = train_x.mean()
sigma = train_x.std()
def standardize(x):
    return (x - mu) / sigma

train_z = standardize(train_x)

# 参数初始化
theta = np.random.rand(3)

# 创建训练数据的矩阵
def to_matrix(x):
    return np.vstack([np.ones(x.size), x, x ** 2]).T

X = to_matrix(train_z)

# 预测函数
def f(x):
    return np.dot(x, theta)

# 均方误差
def MSE(x, y):
    return (1 / x.shape[0]) * np.sum((y - f(x)) ** 2)

# 学习率
ETA = 1e-3

# 误差的差值
diff = 1

# 更新次数
count = 0

# 重复学习
error = MSE(X, train_y)
while diff > 1e-2:
    # 使用随机梯度下降法更新参数
    p = np.random.permutation(X.shape[0]) # 随机p
    for x, y in zip(X[p,:], train_y[p]): # 选择第p行的训练数据（此例中一个x，一个y）对参数进行更新
        theta = theta - ETA * (f(x) - y) * x

    # 计算与上一次误差的差值
    current_error = MSE(X, train_y)
    diff = error - current_error
    error = current_error

    # 输出日志
    count += 1
    log = '第 {} 次 : theta = {}, 差值 = {:.4f}'
    print(log.format(count, theta, diff))

# 绘图确认
x = np.linspace(-3, 3, 100)
plt.plot(train_z, train_y, 'o')
plt.plot(x, f(to_matrix(x)))
plt.show()

2.多重回归的原理

2.1 多重回归的原理

预测多个变量$x$与一个变量$y$的关系
例如：广告费$x_1$、广告展示位置$x_2$、广告版面大小$x_3$与点击量$y$
$$f_{\theta }(x_1，\cdots ，x_n)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$
$$\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]、\mathbf{x}=\left[\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_n\end{array}\right]（x_0=1）$$
$$f_{\mathbf{\theta }}(\mathbf{x})={\mathbf{\theta }}^T\mathbf{x}={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n(f_{\mathbf{\theta }}({\mathbf{x}}^{(i)})-y^{(i)})x_j^{(i)}$$
上述表达式使用了所有训练数据

需要注意的是数据预处理时需要对所有变量x进行标准化
计算变量$x_1$所有数值的均值和标准差，利用下式对变量$x_1$所有数值进行标准化，其他类似

训练过程与多项式回归类似，唯一不同的是预测函数不同