今天在做YouTube DNN调优的时候涉及到了一个比较糟糕的问题。
原来好好的代码抛出了异常:
DataLossError: corrupted record at XXX
查询了相关资料:
DataLossError (see above for traceback): corrupted record at 12
[TF2.0][FR] Skip TFRecord files with ‘DataLossError: corrupted record at’ #26991
Tensorflow官方没有给出有效的解决方式,分析完构建TensorFlow TFRecord的方式没有出现什么问题,而且我这个程序之前是正常跑成功的。
给出的解决方式如下:
try:
except tf.errors.DataLossError:
logging.info("skip data loss error!")
跳过tensorflow TFRecord读取异常的数据。