问题
跑实验室时出现了损失值为nan(下图所示)
排查
因为有一些判断所以用了bd_index = torch.where(s_label != o_label)[0]
语句来选出满足条件的下标,这样做可能返回一个空列表(不满足条件时),因为后续有用到 torch.log()
函数来计算,所以如果是空列表放进去就会出现loss = nan
,但是不同情况得具体分析,排查的过程最好用的就是使用语句 with torch.autograd.detect_anomaly():
来将训练代码包裹起来(如下图所示),这样就能迅速定位到出现空值的点(平时训练时得去掉,会拖慢速度)
最终定位到 torch.log()
处,最终解决办法就是加上常量 log_prob = torch.log(prob + 1e-7)
这样就不会空值
运行成功: