这篇文章是2022年Vision-Transformer领域的CVPR论文。文章推出了一种新的Vision Transformer模型——Deformable Attention Transformer
(DAT)。DAT将DCN运用到Transformer中,从而将注意力的运算集中在重要性区域上,为目标检测带来了一定程度的性能提升。DAT最大的价值在于其使得自注意力层可以聚焦于相关区域来捕获信息。
参考目录:
①源码
②CVPR 2022 | 清华开源DAT:具有可变形注意力的视觉Transformer
③DAT论文解读(暖风)