目标检测模型预训练——自监督对比学习
传统模型
Efficient Visual Pretraining with Contrastive Detection
文章：Efficient Visual Pretraining with Contrastive Detection (readpaper.com)
Point-Level Region Contrast for Object Detection Pre-Training
文章：Point-Level Region Contrast for Object Detection Pre-Training (readpaper.com)
采样点来替代此前方法中的 proposal，将不同区域内不同的采样点构建为样本对，以希望模型学习出更准确的特征表达。
Aligning pretraining for detection via object-level contrastive learning（SoCo）
文章：Aligning Pretraining for Detection via Object-Level Contrastive Learning (readpaper.com)
采用随机裁剪、调整大小的方法将同一个 proposal 构建为三个不同的视角，进而采用 Contrastive Loss 来约束这三个视角的样本在特征空间内的距离。
Detco: Unsupervised contrastive learning for object detection（DetCo）
文章：DetCo: Unsupervised Contrastive Learning for Object Detection (readpaper.com)
将 proposal 作为 global patch，同时将 proposal 切分为不同的 local patch，构建了 local-local 对比损失和 global-local 对比损失，完成了对比学习与目标检测的结合。
Dense Contrastive Learning for Self-Supervised Visual Pre-Training
文章：Dense Contrastive Learning for Self-Supervised Visual Pre-Training (readpaper.com)
DETR
Siamese DETR
文章：Siamese DETR (readpaper.com)
采用自监督对比学习 BYOL 的思想，提出了两个代理任务分别用于分类和定位来完成模型预训练，采用 EdgeBoxes 算法离线生成 proposal。
Detreg: Unsupervised pretraining with region priors for object detection
文章：DETReg: Unsupervised Pretraining with Region Priors for Object Detection (readpaper.com)
采用蒸馏的思想完成预训练过程，将 SwAV 预训练的模型作为 teacher 来完成分类任务的监督，使 DTER 学习到 SwAV 的特征嵌入。用 Selective Search 算法生成 proposal，作为定位任务的监督。
Up-detr: Unsupervised pre-training for object detection with transformers
文章：UP-DETR: Unsupervised Pre-training for Object Detection with Transformers (readpaper.com)
提出了新的代理任务，即随机的从原图中裁下一个 patch，将这个 patch 作为 query 输入到 DETR 的 decoder 中，希望模型可以在原图中找到这个 patch 的位置并完成分类。