具有多层输出的感知机如下图所示:
图中节点上的符号表示的含义是:
- 代表第1层上的第k个节点
- 同样代表第1层上的第k个节点
若能求出 的结果,便可知道所有的梯度信息
Derivative
首先我们定义
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{\nabl…
由推导结果可看出,一条边上的输出结果只与该线上的输入值
和
,因此对于一个多输出的感知机,对比单输出的感知机,改变了输出节点上的取值。单层为
,多层为
import torch
import torch.nn.functional as F
x = torch.randn(1,10) # dim=1,len=10, x为[1,10]的矩阵
w = torch.randn(2, 10, requires_grad=True) # w为[2,10]的矩阵
o = torch.sigmoid(x@w.t()) # o为[1,2]的矩阵
print("o.shape: ", o.shape)
loss = F.mse_loss(input=o, target=torch.ones(1, 2))
print("loss: ", loss)
loss.backward()
print("w.grad: ", w.grad)