SimCLR v1详见https://blog.csdn.net/weixin_42764932/article/details/112787761
在2020年中,Hinton组的Chen Ting同学又提出了SimCLR v2[4],主要做了以下改动:
采用更深但维度略小的encoder,从 ResNet-50 (4×) 改到了 ResNet-152 (3×+SK),在1%的监督数据下提升了29个点
采用更深的3层MLP,并在迁移到下游任务时保留第一层(以前是完全舍弃),在1%的监督数据下提升了14个点
参考了MoCo使用memory,但由于batch已经足够大了,只有1%左右的提升
最终模型比之前的SOTA好了不少: