2.无监督训练->对比学习 moco系列
取A图片的patch 1,2和B图片的patch 3,则1,2是一对,1,3不是一对。
3.无监督训练->MIM,masked-image-modeling,MAE
VIT我之前一直任务意义不大,即便在有clip的时候,我也认为对传统的分割,检测影响不大,但是sam出来之后,我觉得vit在视觉领域的应用还是很广的。
2.无监督训练->对比学习 moco系列
取A图片的patch 1,2和B图片的patch 3,则1,2是一对,1,3不是一对。
3.无监督训练->MIM,masked-image-modeling,MAE
VIT我之前一直任务意义不大,即便在有clip的时候,我也认为对传统的分割,检测影响不大,但是sam出来之后,我觉得vit在视觉领域的应用还是很广的。