PyTorch 反向传播报错:
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [12, 128, 64, 64]], which is output 0 of ReluBackward0, is at version 1; expected version 0 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).
导致错误的原因:使用了 inplace operation
报错的意思是:梯度计算所需的一个变量已被就地操作(inplace operation)修改,导致无法计算梯度。
inplace operation 是指直接对tensor的内容进行修改,而没有使用复制的副本。利用inplace计算可以节省内存/显存,同时还可以省去反复申请和释放内存的时间,但是会对原变量覆盖。
在实现模型时,应该尽量避免 inplace operation,否则可能会导致无法计算梯度。
常见的 inplace operation
1、 x+=y,x*=y 是 inplace operation ,可以改为 x=x+y 和 x=x*y
2、nn.ReLU(inplace=True) 是 inplace operation,但 nn.ReLU 默认 inplace=False,所以使用 nn.ReLU() 即可。