0. 前言
前面对神经网络的优化算法—梯度下降进行了说明,下面希望python实现神经网络的学习过程。
1. 问题描述
假设某种物体有长、宽、高3个属性,根据这三个属性可以判定属于0这类还是1这类。
长 | 宽 | 高 | 类别 |
---|---|---|---|
0 | 0 | 1 | 0 |
1 | 1 | 1 | 1 |
1 | 0 | 1 | 1 |
0 | 1 | 1 | 0 |
把上面的场景用神经网络结构表示就是:
2. 实现步骤
- 初始化权重(weight, w)
- 计算结果
- 根据误差反向调整权值
- 迭代
3. 代码实现
import numpy as np
# 数据
X = np.array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]])
y = np.array([[0, 1, 1, 0]]).T
# 设置权重
np.random.seed(1) # 让每次生成的随机数相同
weight = np.random.random((3, 1)) * 2 -1 # 生成3个随机数,随机数在-1到1之间
# 迭代
for iter_num in range(10000):
z = np.dot(X, weight) # 点乘,即矩阵乘法
# print("z:", z)
output = 1 / (1 + np.exp(-z)) # 使用sigmoid函数将值压缩在0-1之间
# print("输出结果:", output)
# 误差
error = y - output # 计算结果与实际结果的误差
slope = output * (1 - output) # 斜率
delta = error * slope # 增量
# 更新weight
weight = weight + np.dot(X.T, delta)
print("最终的weights:\n", weight)
输出结果
最终的weights:
[[ 9.67299303]
[-0.2078435 ]
[-4.62963669]]
4. 代码重构
上面的代码是顺着写的整个过程,其中的一些可以提出来写成一个函数,所以可以重新整理成下面的样子:
import numpy as np
def fp(X):
"""正向传播"""
z = np.dot(X, weight) # 点乘,即矩阵乘法
output = 1 / (1 + np.exp(-z)) # 使用sigmoid函数将值压缩在0-1之间
return output
def bp(y, output):
"""反向计算增量"""
error = y - output # 计算结果与实际结果的误差
slope = output * (1 - output) # 斜率
delta = error * slope # 增量
return delta
# 数据
X = np.array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]])
y = np.array([[0, 1, 1, 0]]).T
# 设置权重
np.random.seed(1) # 让每次生成的随机数相同
weight = np.random.random((3, 1)) * 2 -1 # 生成3个随机数,随机数在-1到1之间
# 迭代
for iter_num in range(10000):
output = fp(X)
delta = bp(y, output)
# 更新weight
weight = weight + np.dot(X.T, delta)
print("最终的weights:\n", weight)
"""此处进行一个预测"""
X_test = np.array([[1, 1, 0]])
y = fp(X_test)
print("预测结果:", y)
输出结果:
最终的weights:
[[ 9.67299303]
[-0.2078435 ]
[-4.62963669]]
预测结果: [[0.9999225]]