这是一篇关于NLP领域多模型知识蒸馏的文章,整体思路比较清晰,介绍了一种多模型蒸馏的方法。
1. 简介
- 论文题目:One Teacher is Enough?
Pre-trained Language Model Distillation from Multiple Teachers - 地址:https://arxiv.org/pdf/2106.01023.pdf
2. motivation & abstract
单个教师模型指导学生模型训练时,教师模型的结果如果有偏,则容易导致最终模型结果有偏,最终学生模型的精度较低。
因此本文提出了一种多教师模型的知识蒸馏方法(co-finetune)。在这里引入shared pooling
和prediction layer
去对齐输出空间,从而保证更好地蒸馏。此外,对蒸馏的损失函数进行改进,提出multi-teacher hidden loss
和multi-teacher distillation loss
去同时利用教师模型的中间层以及输出层信息,最终在3个benchamark dataset上获取了最优性能。
注意:本文属于task-specific knowledge distillation
。
3. MT-BERT
3.1 Multi-Teacher Co-Finetuning
不同的教师模型是基于不同的超参数进行训练的,因此他们单