联合多尺度与注意力机制的遥感图像目标检测

遥感图像存在背景复杂、目标尺度差异大且密集分布等不足,为提高现有算法的检测效果提出联合多尺度与注意力机制的遥感图像目标检测算法. 改进空洞空间金字塔池化模块,增大不同尺寸图像的感受野;提出注意力模块用于学习特征图通道信息和空间位置信息,提升算法对复杂背景下遥感图像目标区域的特征提取能力;引入加权双向特征金字塔网络结构与主干网结合来增进多层次特征的融合;使用基于距离的非极大值抑制方法进行后处理,改善检测框易重叠的问题. 在DIOR和NWPUVHR-10数据集上的实验结果表明：所提算法的平均精度均值mAP分别达到71.6%和91.6%,相比于主流的YOLOv5s算法分别提升了2.9%和1.5%. 所提算法对复杂遥感图像取得了更好的检测效果.     

结合双注意力与特征融合的孪生网络目标跟踪

基于孪生网络视觉跟踪的进化和深层网络目标跟踪算法在目标被遮挡和外观形变时的跟踪成功率不高,鲁棒性不强,对此,提出了一种结合双注意力与特征融合的孪生网络目标跟踪算法。首先,采用通道和空间注意力模块增强目标信息,抑制图像中的干扰信息,提高模型的准确度;然后,对注意力层输出的浅层和深层特征信息进行多层特征融合,得到表现力更好的目标特征,提高跟踪成功率;最后,引入在线模板更新机制,减少了跟踪漂移,提高了跟踪鲁棒性。使用OTB100测试集进行实验,实验结果表明,改进后算法的跟踪成功率比改进前算法的跟踪成功率提高了1.3%;在具有遮挡和形变属性的4个测试序列下,改进后算法的平均重叠率提高了3%,中心位置的平均误差降低了0.37个像素点,针对遮挡和外观形变时的鲁棒性更好。     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

融合ReFPN结构与混合注意力的小目标检测算法

基于深度学习的小目标检测研究对于如小人脸识别、遥感图像检测等任务的优化与提升都具有极为重要的意义。但由于图像中的小目标所占像素较少,分辨率低,包含的特征信息不明显,现有方法对小目标的检测效果并不理想。针对此问题,提出一种基于反馈的特征融合网络ReFPN用于YOLOv4算法,两次利用骨干网络提取的原始特征层,加强小目标特征信息,对其进行更精确的位置回归。同时提出混合注意力机制Co-AM充分提取小目标的细节特征信息,抑制无效特征,进一步提高小目标的检测精度。实验结果表明,此文提出的方法使YOLOv4算法在MS COCO数据集上平均精度AP提高了1.9%,小目标平均精度AP_S提高了3.3%,检测效果优于现有小目标检测算法,证明了此文提出方法的有效性。     

基于改进SSD遥感影像的飞机目标检测研究

针对多尺度单发射击检测(SSD)算法对于复杂背景下小目标物体漏检和误检问题,将特征融合模块和注意力模块相结合来改进SSD算法。在公开光学遥感图像RSOD中Aircraft数据集的试验结果表明:基于改进SSD算法能够实现对复杂背景下遥感影像飞机检测,AP值和F1值分别为76.22%和65%,比SSD算法分别提升了2.39%和6%,改进SSD算法比SSD算法有效增强了复杂场景下检测遥感影像飞机目标的精度,主要来自于小目标物体检测精度的提升。此外,通过消融试验表明特征融合模块比注意力模块对SSD算法检测遥感影像飞机目标精度提升效果更好,将这两个模块相结合来改进SSD算法,能够保持较高的检测速度,加强SSD算法对小目标物体检测能力。     

多尺度特征增强的SSD目标检测算法

针对目标检测中多类别、多尺度和背景复杂而导致的SSD (Single Shot Multibox Detector)算法检测精度不高的问题,提出了一种多尺度特征增强的改进SSD目标检测算法。首先将SSD网络模型的高层特征依次向下与浅层特征融合,构造一种多尺度目标检测结构。然后利用注意力机制对特征进行进一步的优化,从而达到增强网络模型特征提取的目的。最后用DIoU-NMS来处理图像目标中冗余框的问题,减少目标的漏检。在公开的NWPU VHR-10遥感数据集上将该方法与其他算法进行对比实验,其m AP较传统的SSD算法提高了6.7%。最后将改进后的算法应用于地铁安检图片检测,并在此数据集上进行消融实验来验证此算法每一阶段的有效性。     

特征增强的单阶段遥感图像目标检测算法

针对遥感图像目标检测算法在特征融合过程中最高层信息丢失及遥感图像复杂背景难以区分的问题,提出了一个特征增强的单阶段遥感图像目标检测算法。该算法在基线单阶段对齐网络(S²A-Net)中引入残差特征增强处理策略和改进的通道注意力机制,从而保留特征融合过程中最高层信息并使网络抑制复杂背景信息。为了验证所提算法的有效性,分别在DOTA-v1.0数据集和HRSC2016数据集上进行了实验。实验结果表明,所提算法相比于S²A-Net算法,在DOTA-v1.0数据集上的平均精度提升了1.43个百分点,并在HRSC2016数据集上取得了比较有竞争力的结果。     

基于通道注意力与特征融合的水下目标检测算法

水下光学图像存在色偏、低对比度、目标模糊的现象,导致水下目标检测时存在漏检、误检等问题。针对上述问题,提出了一种基于通道注意力与特征融合的水下目标检测算法。基于通道注意力设计了激励残差模块,将前向传播的特征信息进行自适应分配权重,以突出不同通道特征图的显著性,提高了网络对水下图像高频信息的提取能力;设计了多尺度特征融合模块,增加了大尺度特征图用于目标检测,利用其对应的小尺度感受野提高了网络对小尺寸目标的检测性能,进一步提高了网络对水下不同尺寸目标的检测精度;为提高网络对水下环境的泛化性能,设计了基于拼接和融合的数据增强方法,模拟水下目标的重叠、遮挡和模糊情况,增强了网络对水下环境的适应性。通过在公共数据集URPC上的实验,与YOLOv3、YOLOv4和YOLOv5相比,所提算法的平均精度均值分别提升5.42%,3.20%和0.9%,有效改善了水下复杂环境中不同尺寸目标漏检、误检的问题。     

目标跟踪算法综述

针对现有基于孪生网络的视频目标跟踪(video object tracking, VOT)方法存在的特征提取能力不足以及对外观变化过大或平面外旋转等目标跟踪效果不佳的问题, 提出一种基于残差密集孪生网络的VOT方法. 首先, 使用嵌入卷积注意力的残差密集网络对模板帧图像和检测帧图像分别提取不同层次的特征; 然后, 将不同层次的特征通过相互独立的区域候选网络进行互相关操作; 最后, 将多个区域候选网络的输出自适应加权求和, 得到最终的跟踪结果. 实验结果表明, 该方法在应对目标表观变化过大、平面外旋转等挑战时, 能够获得较好的跟踪效果.

     

用于遥感图像变化检测的深度监督网络

为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测（CD）能力差的问题，借助Unet++网络构建用于遥感图像CD的深度监督网络（DSNet）.设计多尺度残差模块替换传统卷积层，通过融合孪生网络双分支上的空间与光谱特性，获取遥感图像在不同层次间的语义信息，有效解决了特征提取单一的问题.在模型解码端设计横向输出层，实现节点从低级向高级特征聚合的深度监督过程.将具备信息差异化的不同特征融合结果传输至基于归一化的注意力模块(NAM)中.在不引入额外参数的前提下增强了变化区域的信息权重.实验结果表明，所提模型在遥感图像CD任务中的召回率和精度分别为90.39%和92.04%，模型的参数量和计算量为6.38 M和60 G.与不同网络模型的对比表明，该方法具有检测精度高、速度快和轻量化等优点.     

基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.     

基于注意力编解码器及多残差网络的逆半色调方法

针对当前逆半色调方法恢复的图像存在细节不清晰甚至丢失的问题,提出了一种基于注意力编解码器及多残差网络(Encoder-decoder with attention and multi-residual network, EDAMRNet)的逆半色调方法。首先,设计融合注意力机制的编解码器结构,在其跳跃连接处添加非对称特征融合模块,以有效提取图像上下文信息;然后,构造多残差网络,捕获并保留图像空间细节信息;最后,应用监督注意力模块对图像上下文信息进行加强,再传递到多残差网络,以恢复出高质量的连续色调图像。实验结果表明：该方法与现有最优方法相比,在Urban100和Manga109数据集下的峰值信噪比平均值均提高了0.1 dB,结构相似性平均值分别提高了0.0010和0.0005。该方法能够在提取图像上下文信息的同时保留图像空间细节信息,可更好地恢复图像纹理信息,提高图像清晰度,为图像逆半色调方法研究提供了一种新的方案。     

改进YOLOv5的沥青路面裂缝检测方法

针对YOLOv5在裂缝图像目标检测中未能考虑到裂缝图像背景复杂,检测目标较小导致检测效果不佳和易出现误检漏检的问题,提出了一种改进YOLOv5的沥青路面裂缝检测方法。该算法首先将轻量级Mobilenet v3的网络作为YOLOv5的特征提取骨干网络,以降低模型复杂度并加快推理速度。同时,在网络预测端引入高效通道注意力机制,提升网络局部特征捕获和融合能力。最后,通过一个嵌入Panet模块来强化裂缝图像的多尺度特征表达能力,提高对小目标的检测效果。实验结果表明,相比于原始YOLOv5算法,改进后的YOLOv5进行沥青路面裂缝检测的平均精度提高了5.6%,模型参数量降低了86.3%,图像检测时间减少了75.8%。     

利用注意力机制融合的YOLOv5遥感图像目标检测

遥感图像目检测与识别是近年来国内外研究的热点之一。针对检测任务中因目标密集分布、目标尺度不一所导致的精度不高等问题，提出了一种改进YOLOv5的融合注意力机制目标检测算法。首先，将坐标注意力机制(Coordinate Attention, CA)分别融合到YOLOv5的骨干网络、颈部和输出端3个位置，以提高模型的特征提取能力。其次，进行训练和测试，实验结果表明，骨干网络位置最适合融合注意力，能够有效增强模型的检测性能。再次，采用CIoU＿loss作为损失函数，以改善目标检测框的定位精度。最后，进行消融、对比实验，结果表明，提出的改进算法相较于原始YOLOv5算法具有更好的检测性能，mAP50提高了2.9个百分点，有效提高了遥感图像的目标检测精度。     

一种注意力机制的多尺度特征融合MRI重建

针对深度卷积神经网络重建磁共振图像存在的高频细节纹理丢失问题，本文提出一种注意力机制的多尺度特征融合磁共振成像(magnetic resonance imaging, MRI)重建。在U-Net模型基础上，采用参考图像的特征，约束低分辨磁共振图像的重建，并引入多尺度特征挤压注意力(multi-scale feature squeeze attention, MFSA)模块，建立跨通道信息交互，在通道维度上对多尺度特征层进行特征提取并融合，强化高频细节纹理的特征信息，提高磁共振图像重建的分辨率。同时，为验证所提注意力模块的有效性，保持其他参数不变，在测试集上分别对网络加入的注意力模块前后进行对比实验。实验结果表明，本文所提出的MFSA,能提高图像的重建质量，使图像获得更丰富的信息，各项指标均达到最优，重建结果纹理清晰，接近于真实图像，更能满足人类的视觉感受，而且网络在峰值信噪比和结构相似性等质量评价指标方面均得到较大改善，在定量评估上明显优于其他网络，而且通过不同尺度注意力相融合，使网络在小数据集上就可明显提升图像的感知质量。该研究具有较大的应用价值。     

融合注意力引导的多尺度低照度图像增强方法

弱光环境导致图像采集设备拍摄的照片呈现出对比度低、亮度较暗、目标物难以分辨等特点。为了改善图像质量,提出了一种融合注意力引导的多尺度低照度图像增强方法。首先,构建密集残差网络作为多尺度特征提取器,用于提取低照度图像中不同尺度的特征图;其次,利用改进的RefineNet对提取出的不同尺度的特征图进行融合,以便充分利用图像中的特征信息;同时,在网络中引入注意力机制,基于边缘检测结果生成注意力图,并与损失函数相结合来引导网络进行训练,在不增加网络推理负担的同时,增强隐藏在黑暗中的细节信息;最后,实验分别选用合成图像和SID(See-in-the-Dark)数据集进行训练与测试。相较于对比算法,峰值信噪比(PSNR)和结构相似性(SSIM)分别平均提高了约0.79 dB和0.119。结果表明,所提方法能有效提高亮度和对比度,恢复图像边缘细节,主观视觉效果得到提升。     

孪生网络特征融合与自适应加权的目标跟踪算法

为了提高孪生网络目标跟踪算法在实际复杂环境中的跟踪精度与准确性,提出一种基于孪生网络特征融合与自适应加权的目标跟踪算法MFAW-SiamRPN。该算法在孪生区域建议网络目标跟踪算法的基础上,引入多层特征融合模块,并在主干网络末端嵌入自适应加权网络,提高跟踪算法的适应性和判别力,从而能够通过区域建议网络更准确的获取目标的位置和形状。实验测试表明：相比孪生区域建议网络目标跟踪算法,MFAW-SiamRPN算法在OTB2015数据集上的跟踪精度和成功率分别提升了2.5%、2.8%,在VOT2018数据集上的期望平均重叠率提高了2.3%,跟踪性能较好,在处理复杂场景时有更好的鲁棒性。     

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少，传统行人检测模型对小目标检测效果较差的问题，提出一种基于消隐点性质，提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质，对图像中的多个目标进行复制；通过仿射变换投影到新的位置，生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构，融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络（GFF-neck），以融合全局特征.实验表明，在经过数据增强后的WiderPerson数据集上，改进算法对行人类别的检测AP值达到了79.6%，在VOC数据集上mAP值达到了80.2%.测试结果表明，当搭建实验测试系统进行实景测试时，所提算法有效提升了小目标行人检测识别精度，并满足实时性要求.     

遥感图像密集小目标全方位精准检测算法

针对遥感图像中目标排列密集且方向不相同,导致现有检测算法难以准确定位实例目标的问题,提出了一种遥感图像密集小目标全方位精准检测算法。首先,为提升特征提取能力,在主干网络的残差结构中引入Meta-ACON激活函数,自适应地学习信道特征的重要性;其次,提出一种加强连接特征金字塔网络,重新设计了用于深浅层特征融合的侧向连接部分,并在同层次特征图输入与输出之间添加了跳跃连接,丰富特征语义信息;再次,引入角度预测分支,使用环形平滑标签方法将角度回归问题转化为分类问题,在实现目标框旋转的同时解决了旋转框边界突变的问题;最后,设计针对旋转检测框的后处理方法(Rotate-Soft-NMS),通过抑制检测框的置信度去除相邻的重复旋转检测框。在DOTA数据集上的实验结果表明:该算法的平均精度均值达到76.15%,相比于基准模型YOLOv5m提升了5.22%,与其他先进算法相比取得了最好的检测结果。本文算法对复杂遥感场景的目标具有更优的检测效果。     

基于多注意力融合的抗遮挡目标跟踪

针对基于孪生网络的目标跟踪算法在相似目标干扰和发生遮挡时容易丢失目标的问题,提出一种基于多注意力融合的抗遮挡目标跟踪算法(anti-occlusion target tracking based on multi-attention fusion, AOTMAF)。为更好地模拟遮挡图片,引入渐进式随机遮挡模块,由易到难地随机生成遮挡块对图像进行多区域遮挡,通过人工模拟被遮挡图像的方式扩充负样本数据集,提升模型在遮挡情况下对判别性特征的提取能力。从深度、高度与宽度三个维度挖掘特征图通道信息,并通过融合空间注意力,聚合特征图上每个位置的空间依赖性,增强特征表达能力,进一步提高跟踪的鲁棒性。实验结果表明,在OTB100、VOT2018、GOT-10K公开数据集上,本研究方法在复杂场景下能有效提升跟踪精度和鲁棒性。