多尺度特征融合与特征通道关系校准的SAR图像船舶检测

目前深度学习技术在SAR图像的船舶检测中已取得显著的成果,但针对SAR船舶图像中复杂多变的背景环境,如何准确高效地提取目标特征,提升检测精度与检测速度仍存在着巨大的挑战。针对上述问题,该文提出了一种多尺度特征融合与特征通道关系校准的 SAR 图像船舶检测算法。在Faster R-CNN的基础上,首先通过引入通道注意力机制对特征提取网络进行特征间通道关系校准,提高网络对复杂场景下船舶目标特征提取的表达能力;其次,不同于原始的基于单一尺度特征生成候选区域的方法,该文基于神经架构搜索算法引入改进的特征金字塔结构,高效地将多尺度特征进行充分融合,改善了船舶目标中对小目标、近岸密集目标的漏检问题。最后,在SSDD数据集上进行对比验证。实验结果表明,相较原始的Faster R-CNN,检测精度从85.4%提高到89.4%,检测速率也从2.8 FPS提高到10.7 FPS。该方法能够有效实现高速与高精度的SAR图像船舶检测,具有一定的现实意义。      

用于SAR图像舰船目标检测的MAF⁃Net和CS损失

深度学习算法以其端到端训练和高准确率等优势被广泛应用于合成孔径雷达图像舰船检测领域。然而,SAR图像中舰船目标尺寸跨度较大,且易受到复杂背景和噪声的干扰,从而影响识别精度。为了进一步提高网络的检测精度,本文提出了一个多尺度注意力融合网络。该网络主要包含一个多尺度特征注意力融合模块,该模块使用骨干网络输出的特征图,融合多尺度的信息,在空间和通道维度对FPN输出的特征图进行增强,用于抑制噪声和背景对舰船目标的影响,提升网络的特征提取能力。此外,本文还提出了余弦相似损失,通过计算目标与非目标区域的余弦相似度,使网络更准确地区分船舶目标与背景,以进一步提高准确率。大量的实验表明,在SSDD和SAR?Ship?Dataset数据集上,本文所提的方法与现有的几种算法相比具有更高的检测精度。     

基于生成对抗网络和线上难例挖掘的SAR图像舰船目标检测

基于深度学习的SAR图像舰船目标检测算法对图像的数量和质量有很高的要求,而收集大体量的舰船SAR图像并制作相应的标签需要消耗大量的人力物力和财力。该文在现有SAR图像舰船目标检测数据集(SSDD)的基础上,针对目前检测算法对数据集利用不充分的问题,提出基于生成对抗网络(GAN)和线上难例挖掘(OHEM)的SAR图像舰船目标检测方法。利用空间变换网络在特征图上进行变换,生成不同尺寸和旋转角度的舰船样本的特征图,从而提高检测器对不同尺寸、旋转角度的舰船目标的适应性。利用OHEM在后向传播过程中发掘并充分利用难例样本,去掉检测算法中对样本正负比例的限制,提高对样本的利用率。通过在SSDD数据集上的实验证明以上两点改进对检测算法性能分别提升了1.3%和1.0%,二者结合提高了2.1%。以上两种方法不依赖于具体的检测算法,且只在训练时增加步骤,在测试时候不增加计算量,具有很强的通用性和实用性。     

上下文信息融合与分支交互的SAR图像舰船无锚框检测

SAR图像中舰船目标稀疏分布、锚框的设计,对现有基于锚框的SAR图像目标检测方法的精度和泛化性有较大影响,因此该文提出一种上下文信息融合与分支交互的SAR图像舰船目标无锚框检测方法,命名为CI-Net。考虑到SAR图中舰船尺度的多样性,在特征提取阶段设计上下文融合模块,以自底向上的方式融合高低层信息,结合目标上下文信息,细化提取到的待检测特征;其次,针对复杂场景中目标定位准确性不足的问题,提出分支交互模块,在检测阶段利用分类分支优化回归分支的检测框,改善目标定位框的精准性,同时将新增的IOU分支作用于分类分支,提高检测网络分类置信度,抑制低质量的检测框。实验结果表明:在公开的SSDD和SAR-Ship-Dataset数据集上,该文方法均取得了较好的检测效果,平均精度(AP)分别达到92.56%和88.32%,与其他SAR图舰船检测方法相比,该文方法不仅在精度上表现优异,在摒弃了与锚框有关的复杂计算后,较快的检测速度,对SAR图像实时目标检测也有一定的现实意义。     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

基于图注意力网络的半监督SAR舰船目标检测

基于深度学习的合成孔径雷达(SAR)舰船目标检测近年得到了快速发展。然而,传统有监督学习需要大量的标记样本来训练网络。针对此问题,该文提出一种基于图注意力网络(GAT)的半监督SAR舰船目标检测方法。首先,设计了对称卷积神经网络用于海陆分割。随后,完成超像素分割并将超像素块建模为GAT的节点,利用感兴趣区域池化层提取节点的多尺度特征。GAT采用注意力机制自适应地汇聚邻接节点特征实现对无标记节点的分类。最后,将预测为舰船目标的超像素块定位到SAR图像中并获得精细检测结果。在实测高分辨SAR图像数据集上验证了所提方法。结果表明该方法可以在少量标记样本下,以低虚警率实现对舰船目标的可靠检测。     

基于视觉显著性的SAR遥感图像NanoDet舰船检测方法

在合成孔径雷达遥感图像中,舰船由金属材质构成,后向散射强;海面平滑,后向散射弱,因此舰船是海面背景下的视觉显著目标。然而,SAR遥感影像幅宽大、海面背景复杂,且不同舰船目标特征差异大,导致舰船快速准确检测困难。为此,该文提出一种基于视觉显著性的SAR遥感图像NanoDet舰船检测方法。该方法首先通过自动聚类算法划分图像样本为不同场景类别;其次,针对不同场景下的图像进行差异化的显著性检测;最后,使用优化后的轻量化网络模型NanoDet对加入显著性图的训练样本进行特征学习,使系统模型能够实现快速和高精确度的舰船检测效果。该方法对SAR图像应用实时性具有一定的帮助,且其轻量化模型利于未来实现硬件移植。该文利用公开数据集SSDD和AIR-SARship-2.0进行实验验证,体现了该算法的有效性。      

多层级特征优化融合的遥感图像分割网络

为了从高分辨率遥感图像中准确地分割出地物目标，提出了一种多级特征优化融合的遥感图像分割网络（MRFNet），着重将特征提取骨架网络中不同层级的特征图进行融合，通过融合网络特征图中不同种类的信息来对输出特征图信息进行合理有效的提取和分析。同时使用了逐层的多尺度编码解码模块来细化与高层特征图进行融合的浅层特征图，将不同种类的信息经过优化以后汇聚到高层特征图。然后采用空洞卷积金字塔对高层特征图提取不同感受野的信息，优化了语义分割的输出特征图。通过在ISPRS Vaihingen数据集上进行实验，该网络算法的总体精度达到了90.34%，与经典语义分割网络相比，有效提升了遥感图像目标的检测精度。同时为了证明算法的泛化性，在ISPRS Potsdam数据集上进行了泛化实验取得了91.47%的总体精度，证明了该算法的有效性。     

AIR-SARShip-1.0:高分辨率SAR舰船检测数据集

近年来,深度学习技术得到广泛应用,然而在合成孔径雷达(SAR)舰船目标检测研究中,由于数据获取难、样本规模小,尚难以支撑深度网络模型的训练。该文公开了一个面向高分辨率、大尺寸场景的SAR舰船检测数据集,该数据集包含31景高分三号SAR图像,场景类型包含港口、岛礁、不同级别海况的海面等,背景涵盖近岸和远海等多样场景。同时,该文使用经典舰船检测算法和深度学习算法进行了实验,其中基于密集连接端到端网络方法效果最佳,平均精度达到88.1%。通过实验对比分析形成指标基准,方便其他学者在此数据集基础上进一步展开SAR舰船检测相关研究。      

基于金字塔池化网络的道路场景深度估计方法

针对从单目视觉图像中估计深度信息时存在的预测精度不够准确的问题,该文提出一种基于金字塔池化网络的道路场景深度估计方法。该方法利用4个残差网络块的组合提取道路场景图像特征,然后通过上采样将特征图逐渐恢复到原始图像尺寸,多个残差网络块的加入增加网络模型的深度;考虑到上采样过程中不同尺度信息的多样性,将提取特征过程中各种尺寸的特征图与上采样过程中相同尺寸的特征图进行融合,从而提高深度估计的精确度。此外,对4个残差网络块提取的高级特征采用金字塔池化网络块进行场景解析,最后将金字塔池化网络块输出的特征图恢复到原始图像尺寸并与上采样模块的输出一同输入预测层。通过在KITTI数据集上进行实验,结果表明该文所提的基于金字塔池化网络的道路场景深度估计方法优于现有的估计方法。     

利用改进特征金字塔模型的SAR图像多目标船舶检测

深度学习模型中的特征金字塔网络（Feature Pyramid Network,FPN）常被用作合成孔径雷达（Synthetic Aperture Radar,SAR）图像中多目标船舶的检测。针对复杂场景下多目标船舶检测问题,提出了一种基于改进锚点框的FPN模型。首先将特征金字塔模型嵌入传统的RPN（Region Proposal Network）并映射成新的特征空间用于目标检测,然后利用基于形状相似度距离（Shape Similar Distance,SSD）度量的Kmeans聚类算法优化FPN的初始锚点框,并使用SAR船舶数据集测试。实验结果表明,所提算法目标检测精确率达到98.62%,在复杂场景下与YOLO、Faster RCNN、FPN based on VGG/ResNet等模型进行对比,模型准确率提高,整体性能更好。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于改进RetinaNet的SAR图像目标检测方法

近年来,深度学习方法在合成孔径雷达(SAR)图像目标检测中得到了广泛的应用.船舶出现在近海、港口、岛礁、远洋等各种场景中,同时海洋环境复杂多变,使得船舶目标检测很难排除混乱背景的干扰.对于大纵横比、任意方向、密集分布的目标,精确定位变得更加复杂.本文基于深度学习的方法提出用于SAR图像目标检测的改进RetinaNet模...     

全局关系注意力引导场景约束的高分辨率遥感影像目标检测

高分辨率遥感影像中地物目标往往与所处场景类别息息相关,如能充分利用场景对地物目标的约束信息,有望进一步提升目标检测性能。考虑到场景信息和地物目标之间的关联关系,提出全局关系注意力(RGA)引导场景约束的高分辨率遥感影像目标检测方法。首先在多尺度特征融合检测器的基础网络之后,加入全局关系注意力学习全局场景特征;然后以学到的全局场景特征作为约束,结合方向响应卷积模块和多尺度特征模块进行目标预测;最后利用两个损失函数联合优化网络实现目标检测。在NWPU VHR-10数据集上进行了4组实验,在场景信息约束的条件下取得了更好的目标检测性能。     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

基于多尺度特征的SAR区域型目标检测方法

通过对SAR图像的目标特性分析，提出了一种SAR区域型目标的检测方法。与通常的一些目标检测算法相比，该算法在ROI的提取和目标建模两个方面作了改进，提出了一个新的特征提取算子并引入多尺度的梯度特征作为分类依据。算法应用于真实的SAR图像进行居民区的检测，获得了预期的结果。实验表明，基于多尺度梯度特征的目标检测算法具有良好的性能。     

结合强化学习自适应候选框挑选的SAR目标检测方法

大场景合成孔径雷达(SAR)图像相对于通用光学图像,复杂背景杂波对目标特征提取影响更大,由于传统基于候选框的深度目标检测算法会在整张特征图上产生大量冗余候选框,因而在SAR图像复杂背景杂波影响下会产生大量的虚警,降低目标检测精度。针对该问题,该文基于Faster R-CNN检测模型,提出结合强化学习自适应候选框挑选的SAR目标检测方法。该方法能够通过强化学习自适应搜索特征图中可能含有目标的区域,并挑选搜索区域内的候选框继续进行分类、回归。通过准确搜索到含有目标的区域,可以减少复杂背景杂波的影响并减少传统强化学习应用于检测问题的计算量。所提方法利用强化学习序列决策的特点,能够根据图像信息通过强化学习迭代搜索自适应确定图像中可能含有目标的搜索区域的位置。同时,该方法通过在强化学习中使用距离约束,可以根据之前的搜索结果自适应调整下一次搜索区域的尺寸。基于实测数据的实验结果表明,所提方法能够提升传统深度学习目标检测方法的检测性能。      

FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution

Objects that occupy a small portion of an image or a frame contain fewer pixels and contains less information. This makes small object detection a challenging task in computer vision. In this paper, an improved Single Shot multi-box Detector based on feature fusion and dilated convolution (FD-SSD) is proposed to solve the problem that small objects are difficult to detect. The proposed network uses VGG-16 as the backbone network, which mainly includes a multi-layer feature fusion module and a multi-branch residual dilated convolution module. In the multi-layer feature fusion module, the last two layers of the feature map are up-sampled, and then they are concatenated at the channel level with the shallow feature map to enhance the semantic information of the shallow feature map. In the multi-branch residual dilated convolution module, three dilated convolutions with different dilated ratios based on the residual network are combined to obtain the multi-scale context information of the feature without losing the original resolution of the feature map. In addition, deformable convolution is added to each detection layer to better adapt to the shape of small objects. The proposed FD-SSD achieved 79.1% mAP and 29.7% mAP on PASCAL VOC2007 dataset and MS COCO dataset respectively. Experimental results show that FD-SSD can effectively improve the utilization of multi-scale information of small objects, thus significantly improve the effect of the small object detection.