这篇文章是今年发表的一篇Transformer类文章。文章作者提出了ViT的增强版——SuperViT,其核心有2个:①多尺度输入;②Token-keeping-rate机制。作者通过一系列实验证明SuperViT可以在计算效率和正确率上实现比Swin-T更好的表现力!
参考文档:
①源码
②Transformer学习(四)—DeiT
③各类Transformer都得稍逊一筹,LV-ViT:探索多个用于提升ViT性能的高效Trick
这篇文章是今年发表的一篇Transformer类文章。文章作者提出了ViT的增强版——SuperViT,其核心有2个:①多尺度输入;②Token-keeping-rate机制。作者通过一系列实验证明SuperViT可以在计算效率和正确率上实现比Swin-T更好的表现力!
参考文档:
①源码
②Transformer学习(四)—DeiT
③各类Transformer都得稍逊一筹,LV-ViT:探索多个用于提升ViT性能的高效Trick