最近的并行化工作中,报错RuntimeError: [enforce fail at inline_container.cc:222]和 [enforce fail at inline_container.cc:145].
经查,主要原因如下:
1. 随机种子未统一:
根据手册,模型参数的seed只看主卡即可,按道理来说是会boradcast的.
但事实上,就是如此,推测是因为使用了一个非stable的新函数.
统一了随机数种子之后解决问题.
2. 重复保存
低级错误,改动代码之后忘记作rank的判定.
增加rank的判定后,使模型只保存一次,解决问题.