关于自监督学习:在图像领域，之前预训练模型都需要标签，但是标签获取难度大，对于真实世界的数据，如何才能快速的让网络在无标签的情况下学得数据之间的联系，然后对于下游任务可以使用该网络作为预训练模型进行有标签的fine-tune, 就如 Mask Language Model中的Bert一样. 其实CV 中的VAE 和重建自身的GAN也是自监督的, 以自身为输入和GT.

---

基于正负例的对比学习

SimCLR

Moco

仅基于正例的对比学习