版权声明：如需转载请评论告知并标明出处 https://blog.csdn.net/ShuqiaoS/article/details/83419199
Caffe训练深度学习网络的暂停与继续
博主在训练Caffe模型的过程中，遇到了如何暂停训练并断点继续训练的问题。在此记录下有关这个问题的几种解决方案。更新于2018.10.27。
方法1：临时暂停
这种方法是用于临时暂停Caffe训练，暂停后可以以完全相同的配置从断点处继续训练。如果此时训练中记录了log文件，那么继续后，从log文件中完全看不出暂停的痕迹，是一份完整的记录。
但是，这样暂停后，虽然查看GPU的使用率为0，但仍然无法释放程序所占用的那一部分GPU，也就是说，无法暂停后训练另外的网络，或测试非常大的网络。且，此时的终端不能关闭。
命令
暂停：
Ctrl+z
开始：
fg
回车
方法2：停止训练，下次训练从记录的参数开始
这种暂停方法其实相当于多次训练，区别是，继续训练时，可以用之前暂停时得到的参数初始化网络。也就是说，这种暂停再开始后可以看成是对之前网络的finetune。为了实现这种继续训练的目的，需要在训练时编辑solver文件，设定snapshot，从而保证训练过程每隔一段间隔就会记录一次参数。
好处是，停止后，GPU完全释放，可以进行其他的操作。