DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection

这篇文章想解决的是DETR类型的检测器性能不及传统CNN-based model的问题

这是个新问题，前面的基于DETR的工作虽然试图提高性能和速度，但是未被证明优于经典方法（例如取得SOTA的结果）

要验证基于DETR的端到端模型具有超过检测模型的潜力，可能是目标检测的未来

简单列举几篇我注意到的，比如Conditional DETR, Anchor DETR, Deformable DETR, DAB-DETR, DN-DETR。Conditional DETR, Anchor DETR和DAB-DETR主要改进在query的设计和理解。Deformable DETR提出了一种有效的attention方式和query的设计和初始化等。DN-DETR设计了一种通用的加速检测器训练的方式。研究员的话，比如Conditional DETR的作者王井东老师团队，Anchor DETR的孙剑老师团队，Deformable DETR的作者代季峰老师团队，还有就是我们IDEA研究院的张磊老师。

我们认为，经典的方法经过多年来的方法，其整个pipline是高度优化过的，而DETR出现不久，基于它的方法还没有得到好的优化，要想公平比较DETR-based方法跟经典的方法，就需要把DETR-based的方法也优化，得到一个strong-baseline。而我们解决问题的关键就是对模型进行整个pipline的优化，建立一个强baseline。

主表我们主要有三个，分别是Resnet50 12-epoch setting, 50epoch setting和大模型的SOTA结果。前两个注重公平比较，控制模型大小参数，FPS等公平条件下，证明DINO的训练速度和性能优于之前的模型。第三个是在大模型和额外数据训练的情况下超过其他模型。主表之后是ablation study，这里我们展示了从DN-DETR一步步进化到DINO做出了哪些改变，每一步有多少提升。

数据集是MS COCO detection 2017，代码已经开源。

论文中的实验结果显示DINO不论在R50公平settings下还是大模型的情况下都超过了经典的方法，验证了科学假设。

验证了DETR-based 检测器可以超过经典的检测器，可能称为目标检测的主流。

下一步可以在DINO的基础上简化模型复杂度，做出更利于部署，效率更高的模型；也可以把DINO中提到的方法应用于其他基于检测的任务中，另外还可以探索用这种query-based方法统一视觉理解型任务。