代码方面
- 改小
batch size
- 要适当删除没用的中间变量(虽然效果不大)
比如:
del output
- train的时候,累加loss 一定要
+=loss.item()
,不然会把loss的history也加进去,又占显存了 - 同理2,及时detach()
比如rnn decoder的输出中把上一个时间步的输出作为下一个时间步的输入,那么这个输入完全就可以
.detach()
- valid or test的时候,一定要
with torch.no_grad()
- 用
torch.cuda.empty_cache()
清除显存
外部方面
换个大显存的GPU…
当然有这个钱的话就不会有遇到这个error了…
所以
如果不能拓展显存,那么就及时关闭占用显存的软件,因为我刚刚同时开了pr,占了几百M,关了以后明显占用小了300m
然后重启一下pycharm也会结束这个进程 释放一些因为在占用没法完全清楚的显存 (也就大概200m吧)
Nvidia-smi
查看显存占用的情况哈