自我知识蒸馏学习论文总结
博主看了几篇有关自我知识蒸馏的论文，大致将self-distillation划分为两类：第一类就是从时间的前后进行蒸馏，即前面几个epochs的模型去蒸馏后面几个epochs的模型；第二类就与Deep Supervision类似，即深层的part去蒸馏浅层的part。针对这两大类，博主各写了一篇原论文的阅读笔记，整合在这里方便阅读和查找，也欢迎大家一起探讨。
第一类，Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读