ICCV 2023:探索基于生成模型的 Backbone 预训练
目录
- 前言
- 相关工作
- Discriminative Representation Learning
- Generative Representation Learning
- DreamTeacher 框架介绍
- Unsupervised Representation Learning
- Label-Guided Representation Learning
- 实验
- 总结
- 参考
前言
我们这次要介绍的文章被接收在 ICCV 2023 上,题为:DreamTeacher: Pretraining Image Backbones with Deep Generative Models,我认为是个挺强挺有趣的自监督方面的工作。DreamTeacher 用于从预训练的生成网络向目标图像 Backbone 进行知识蒸馏,作为一种通用的预训练机制,不需要标签。这篇文章中研究了特征蒸馏,并在可能有任务特定标签的情况下进行标签蒸馏,我们会在后文详细介绍这两种类型的知识蒸馏。
事实上,之前已经在 GiantPandaCV 上介绍过一种 diffusion 去噪自监督预训练方法:DDeP,DDeP 的设计简单&#x