文章目录
神经网络向量形式:
这只是一个样本的处理,行向量点乘列向量。而我们实际操作使用的是矩阵形式。
神经网络矩阵形式:
矩阵形式X放在前面,所以都是x.dot(),我们使用numoy处理都是使用矩阵。
神经网络损失函数:
求导:
求导前准备:
以下非常重要要当做基本公式使用.
公式1:
公式2:
公式3:
求解析解:
使用三个公式
感知机求∂L/∂w:
使用公式1
感知机求∂L/∂w1,∂L/∂w2:
∂L/∂w2使用公式1,∂L/∂w1使用公式1和反向传递的误差