近期，西安电子科技大学人工智能学院研发团队依托西安计算中心提供的计算平台，进行了大型小批量目标检测器用于遥感影像的项目研究，在这项研究中取得了新的进展。该研究结果在国际知名学术期刊IEEE GEOSCIENCE AND REMOTE SENSING LETTERS《IEEE地球科学与遥感快报》 上发表，并对西安计算中心致谢。

论文标题：

《LargeRSDet: A Large Mini-Batch Object Detector for Remote Sensing Images》

《LargeRSDet：大型小批量目标检测器用于遥感影像》

研究背景：

   考虑到目前遥感图像数据集以及深度神经网络模型的不断增大，我们基于西安超算中心DCU系统设计了分布式框架下的大规模遥感图像目标检测系统，用来加快模型的训练。

研究目的：

  随着网络模型和数据集规模的扩大，深度神经网络的训练消耗的资源日益增长，在单个计算节点上完成训练的难度越来越大。为了能够快速且有效的完成遥感图像目标检测模型的训练。通过西安计算中心平台的算力支撑，我们提出了一个大批量遥感图像检测算法，命名为LargeRSDet。结果表明，采用该方法可以在不到5分钟的时间内完成DIOR数据集的训练，并达到满意的训练效果。

研究方法：

（1）目标检测模型。本项目采用Faster R-CNN作为训练模型；选取了Swin Transformer模型作为我们目标检测算法的主干网络，并在训练的开始为主干网络加载了在ImageNet-1K上进行预训练得到的模型权重，在网络的其他部分，我们采取了从头开始训练的方式。

（2）学习率策略。学习率是训练过程中的一个关键超参数，为了使我们的大批量训练成为可能，我们提出了一种新的学习率调度来实现学习率的动态调整。

其中，LRmax表示最大学习率，s表示当前步长，Swarmup表示预热步长，Smax表示总步长,Epoch max.表示总Epoch数量,ω用来指定何时衰减学习率,Swarsup=Sepoh * [logN/入]Sepoch 是当前 epoch 包含的步数，N是前一节定义的总批大小，入默认为 2。

（3）并行训练方法。使用数据并行将训练样本分配到多个GPU上以加速训练，为了缓解通信瓶颈采用了Ring Allreduce通信方法。

研究结果：

（1）数据集。数据集为DIOR数据集，共23463张图片，190288个目标，20个类别。

（2）实验平台。

（3）实验结果。

   从表2可知，我们的算法在千卡并行时仍旧能够保证原有的检测精度，通过千卡并行，我们仅使用5分钟不到就完成了模型的训练。

  从图2可知，我们的算法检测检测效果优异。

研究结论：

  本文提出了一种名为LargeRSDet的大型小批量目标检测器，它集成了一系列优化方法来加快大批量训练的速度。它支持我们在不到5分钟的时间内在DIOR遥感图像数据集上训练LargeRSDet。实验结果表明，与8个GPU相比，我们的方法在1024个GPU上获得了55.93倍的加速，在mAP@0.5方面获得了75%的精度。