深度学习遥感影像近岸舰船识别方法

针对复杂背景近岸舰船检测与细粒度识别难题,提出了一种基于深度学习的新型端到端目标识别框架,可有效检测与识别任意方向的舰船目标。针对舰船目标短边尺度较小问题,提出了角度致密化的预设框设置方法,提高了候选区域生成时的召回率;采用改进方位敏感型区域插值池化,减少了坐标量化误差,实现了舰船局部区域特征的精确建模;利用注意力机制下的全局与局部特征区域级融合方法,提升了区域特征的类别判别能力,解决了细粒度舰船识别难题;针对舰船样本稀缺性问题,使用迁移学习提升了模型性能。构建了一个含有25类近岸舰船目标的细粒度数据集,与传统学习模型相比召回率提高2%,平均识别精度提高3%,对复杂背景下目标识别具有重要实用价值。     

生成对抗网络辅助学习的舰船目标精细识别

针对近岸舰船目标细粒度识别的难题,提出了一种利用生成对抗网络辅助学习的任意方向细粒度舰船目标识别框架。通过训练能模仿舰船目标区域的抽象深度特征的生成网络引入生成样本,来辅助分类子网络学习样本空间的流形分布,从而增强细粒度的类别间判别能力。在细粒度类别的近岸舰船数据集上,引入生成对抗网络后的算法识别准确率得到较大提升,平均识别精度提升了2%。消融实验结果表明,利用生成样本辅助训练分类子网络可以有效地提升舰船目标的细粒度识别精度。     

结合深度学习与特征多尺度融合的微钙化簇检测

为了准确识别X线图像中的微钙化簇以进行乳腺癌的辅助诊断与早期预防,结合细粒度级联增强网络(FCE-Net)与多尺度特征融合算法(MFF),提出微钙化簇目标检测方法.首先构建FCE-Net累加卷积模块层级权重,并增强多分支结构,得到细粒度卷积特征图.然后构建MFF候选检测网络,通过二倍上采样融合多尺度特征,得到目标置信度和区域坐标.最后在感兴趣区域池化层分类目标并调整边界框.在MIAS数据集上实验表明,结合FCE-Net与MFF可以提升微小目标的深层特征提取能力,同时增强目标分类与定位的准确度.     

基于EfficientDet网络的细粒度吸烟行为识别

在实际场景中，因香烟目标过于微小且特征不明显，现有的目标检测算法难以区分类烟物与香烟，导致吸烟行为识别效果差。提出一种基于弱监督细粒度结构与EfficientDet网络的吸烟行为识别算法。采用Edge Boxes算法检测图像块的特征边缘，通过非极大值抑制对边缘进行筛选，形成候选区域块。构建包含物体级筛选器和局部级筛选器的细粒度两级注意力模型，其中物体级筛选器使用改进的EfficientDet网络滤除候选区域的背景噪声，以分类前景物体及特征较强的候选区域，并在局部级筛选器中使用通道注意力卷积块对候选区域进行聚类，筛选出得分最高的像素块。通过融合物体级筛选器与局部级筛选器得到的结果，以准确识别吸烟行为。在BUU-Smoke数据集上的实验结果表明，该算法的吸烟行为识别准确率为93.10%，误检率为3.6%，并且具有较优的鲁棒性和泛化能力。     

旋转矩形区域的遥感图像舰船目标检测模型

高分辨率遥感图像舰船目标检测是遥感图像理解任务中的热点研究问题.由于遥感图像中舰船目标存在成像视角单一、目标分布密集和目标尺度变化大等特点,直接将自然场景目标检测方法应用于遥感图像舰船检测任务中,并不能获得满意的效果.此外,自然场景目标检测任务中常用的水平矩形框对细长型舰船目标的定位精确度无法满足实际应用需求.因此,提出了基于旋转矩形区域的遥感舰船目标检测算法.首先,采用旋转矩形框完成舰船目标的定位.其次,提出兴趣区域特征金字塔池化模块,融合兴趣区域的多尺度池化特征以处理目标尺度变化较大的问题.最后,设计定位准确度预测分支,利用定位准确度预测值指导非极大值抑制算法,从而优化后处理的结果.在遥感舰船公开数据集HRSC2016上,通过3个级别任务(分别为单类、4类和19类舰船检测识别)上的实验结果验证了算法的有效性.     

联合显著性特征与卷积神经网络的遥感影像舰船检测

目的 针对高分辨率遥感影像舰船检测受云雾、海浪以及海岛等复杂因素干扰,存在虚警率高、漏检率高、目标检测和识别困难等问题,提出一种联合视觉显著性特征与卷积神经网络的海面舰船目标检测方法。方法 基于频率域相位谱显著性检测能够有效抑制高分辨率遥感影像上云层、海面杂波干扰的特点,计算影像多尺度显著图并进行加权融合。采用对数变换对融合后的图像进行空间域灰度增强以提高目标与背景的区分度,利用灰度形态学闭运算填充舰船目标孔洞,采用大津分割法来提取疑似舰船目标作为兴趣区域。最后构建舰船样本库,利用迁移学习的思想训练卷积神经网络模型,对所有兴趣区域切片进行分类判断和识别,得到最终检测结果。结果 利用多幅不同背景下的高分辨率遥感影像,分别从视觉显著性检测、舰船粗检测与船只类型识别3个方面进行实验验证,选取检测率、虚警率、识别率3个指标进行定量评价。结果表明,本文方法相比于其他方法能有效排除云雾、海岛等多种因素的干扰,检测率、虚警率、识别率分别为93.63%、3.01%、90.09%,明显优于其他算法,能够实现大范围影像上多种类型舰船的快速准确检测和识别。结论 本文将图像视觉显著性检测快速获取图像显著目标的特点与卷积神经网络在图像分类的优势相结合,应用于遥感影像的海域舰船目标检测,能够实现对复杂背景下舰船目标的检测和船只类型的精细化识别。     

基于显著性的遥感图像舰船目标检测

舰船作为海洋信息感知中的重要目标,其检测在军舰探测、精确制导等军用领域以及海面搜救、渔船监测等民用领域具有极其重要的战略意义.海洋遥感图像受云雾、风浪、海杂波和光照等干扰使得舰船检测具有挑战性.根据可见光遥感图像舰船目标检测特点提出粗检测和细鉴别相结合的技术路线.先基于视觉显著性的谱残差法对图像进行增强以提取目标候选区域,后根据舰船与干扰因素差异采用舰船方向梯度直方图特征对目标候选区域进行鉴别,提取真正的舰船目标.实验结果表明,上述算法舰船检测率高,对光照、海杂波干扰具有一定程度的鲁棒性,且能有效剔除碎云岛屿等干扰物,显著降低虚警率.     

基于图像处理的舰船目标识别研究

针对海战场图像信息的目标检测与识别问题,论文提出一种基于 D‐S（Dempster‐Shafer）的海上舰船图像目标多特征信息融合识别方法。该方法包括三个主要内容：1）建立以舰船目标的几何特征为证据源的 D‐S 融合识别模型,这些特征计算简单,容易获取,且在舰船目标识别时具有良好的区分性;2）针对不同舰船特征,获取每个特征的基本信度赋值;3）根据舰船目标识别模型的特点,分析不同的比例冲突分配规则对舰船目标识别的鲁棒性,采用适于舰船目标识别的比例冲突分配规则。实验结果表明在舰船目标的识别中,该方法具有较高的识别精度。     

改进YOLOv5的遥感图像检测方法

针对YOLOv5在遥感图像目标检测中未能考虑到遥感图像背景复杂、检测目标较小且图像中目标语义信息占比过低导致的检测效果不佳和易出现误检漏检等问题,提出了一种改进YOLOv5的遥感图像目标检测方法。将轻量级的通道注意力机制引入到原始YOLOv5的特征提取和特征融合网络的C3模块中,以提升网络局部特征捕获与融合能力;强化对遥感图像的多尺度特征表达能力,通过增加一个融合浅层语义信息的细粒度检测层来提高对小目标的检测效果;使用Copy-Paste数据增强方法来丰富训练样本数量,在不增加模型计算量的情况下可进一步解决遥感图像背景信息占比过高而目标区域占比过低的问题。实验结果表明,改进YOLOv5在公开的DOTA和DIOR遥感图像数据集上mAP结果分别达到0.757和0.759。该方法较原始YOLOv5可提高0.017和0.059,相比于其他典型遥感目标检测方法在精度上也有所提升,证明了改进YOLOv5方法的有效性。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。     

密集子区域切割的任意方向舰船快速检测

目的 遥感图像上任意方向舰船目标的检测,是给出舰船在图像上的最小外切矩形边界框。基于双阶段深度网络的任意方向舰船检测算法速度较慢;基于单阶段深度网络的任意方向舰船检测算法速度较快,但由于舰船具有较大长宽比的形态特点,导致虚警率较高。为了降低单阶段目标检测的虚警率,进一步提升检测速度,针对舰船目标的形态特点,提出了基于密集子区域切割的快速检测算法。方法 沿长轴方向,将舰船整体密集切割为若干个包含在正方形标注框内的局部子区域,确保标注框内最佳的子区域面积有效占比,保证核心检测网络的泛化能力;以子区域为检测目标,训练核心网络,在训练过程对重叠子区域进行整合;基于子图分割将检测得到的子区域进行合并,进而估计方向角度等关键舰船目标参数。其中采用子区域合并后处理替代了非极大值抑制后处理,保证了检测速度。结果 在HRSC2016（high resolution ship collections）实测数据集上,与最新的改进YOLOv3（you only look once）、RRCNN （rotated region convolutional neural network）、RRPN （rotation region proposal networks）、R-DFPN-3（rotation dense feature pyramid network）和R-DFPN-4等5种算法进行了比较,相较于检测精度最高的R-DFPN-4对照算法,本文算法的mAP （mean average precision）（IOU （inter section over union）=0.5）值提高了1.9%,平均耗时降低了57.9%;相较于检测速度最快的改进YOLOv3对照算法,本文算法的mAP （IOU=0.5）值提高了3.6%,平均耗时降低了31.4%。结论 本文所提出的任意方向舰船检测算法,结合了舰船目标的形态特点,在检测精度与检测速度均优于当前主流任意方向舰船检测算法,检测速度有明显提升。     

复杂背景下SAR近岸舰船检测

目的 船舶在合成孔径雷达（synthetic aperture radar, SAR）图像中的检测是研究热点,但目前适合近岸舰船检测的方法并不多。在SAR图像中,近岸舰船受到岸上建筑物的干扰严重,尤其是对于排列紧密的近岸船舶来说,其对比度相似,很难区分船舶与背景。为解决近岸舰船检测困难问题,提出了一种基于加权双向注意金字塔网络的近岸舰船检测方法。方法 本文在FCOS （fully convolutional one-stage）网络的基础上提出了一种新的双向特征金字塔网络。将卷积注意力机制模块（convolutional block attention module,CBAM）与金字塔网络的每个特征图进行连接,提取丰富的语义信息特征;借鉴PANet （path aggregation network）的思想,添加自下而上的金字塔模块,突出不同尺度船舶的显著特征。最后提出了一种加权特征融合方式,使特征图提取的特征信息的着重点不同,提高舰船检测精度。结果 本文在公开的SAR图像舰船数据集SSDD （SAR ship detection dataset）上进行实验。实验结果表明,相比原FCOS方法,本文方法的检测精度提高了9.5%;与对比方法相比,本文方法在同等条件下的检测精度达到90.2%。在速度方面,本文方法比SSD提高0.6 s,比Faster R-CNN （region convolutional neural network）提高1.67 s,明显优于对比方法。结论 本文通过改进特征网络和特征融合方式,提高了算法对SAR图像舰船目标检测中背景复杂、排列紧密的近岸舰船目标的定位效果,有效增强了对舰船目标定位的准确性。     

融入混合注意力的可变形空洞卷积 近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar,SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border detection)3种检测模型上,与原模型相比,对小型舰船的检测精度分别提高了3.5%、2.6%和2.9%,总体精度达到89.9%。在SSDD(SAR ship detection dataset)数据集上的总体精度达到95.9%,优于现有方法。结论 本文通过改进骨干网络,使模型能够改变卷积核形状和大小,集中获取目标信息,抑制背景信息干扰,有效降低了SAR图像近岸复杂背景下小型舰船的误检漏检情况。     

基于UNet++网络与多边输出融合策略的船舶检测模型

船舶检测与识别技术的发展对海上监视及服务工作起重要作用,目前卫星遥感图像船舶目标检测存在背景复杂、船舶尺度变化大等问题,妨碍了海上威胁事件的预测及海上工作效率的提高。提出一种融合多尺度特征信息的目标检测模型,采用UNet++网络进行目标检测提取卫星图像特征,并将全局信息和细粒度信息相融合生成具有高空间精度的中间特征图。在此基础上,使用MSOF策略融合不同语义层次的特征信息,生成最终的检测特征图,以提高船舶目标检测与识别的精度,并通过将二元交叉熵损失函数与Dice系数损失函数结合使用,降低数据集中样本不均衡对模型准确度的影响。基于空客船舶数据集的实验结果表明,该模型能够对遥感图像中的船舶目标进行精准的检测识别,其Dice系数、IOU系数评估值分别为97.3%、96.8%,优于ResNet-34、UNet++等模型。     

FGSC-23：面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集

目的 基于光学遥感图像的舰船目标识别研究广受关注,但是目前公开的光学遥感图像舰船目标识别数据集存在规模小、目标类别少等问题,难以训练出具有较高舰船识别精度的深度学习模型。为此,本文面向基于深度学习的舰船目标精细识别任务研究需求,搜集公开的包含舰船目标的高分辨率谷歌地球和GF-2卫星水面场景遥感图像,构建了一个高分辨率光学遥感图像舰船目标精细识别数据集（fine-grained ship collection-23,FGSC-23）。方法 将图像中的舰船目标裁剪出来,制作舰船样本切片,人工对目标类别进行标注,并在每个切片中增加舰船长宽比和分布方向两类属性标签,最终形成包含23个类别、4 052个实例的舰船目标识别数据集。结果 按1：4比例将数据集中各类别图像随机划分为测试集和训练集,并展开验证实验。实验结果表明,在通用识别模型识别效果验证中,VGG16（Visual Geometry Group 16-layer net）、ResNet50、Inception-v3、DenseNet121、MobileNet和Xception等经典卷积神经网络（convolutional neural network,CNN）模型的整体测试精度分别为79.88%、81.33%、83.88%、84.00%、84.24%和87.76%;在舰船目标精细识别的模型效果验证中,以VGG16和ResNet50模型为基准网络,改进模型在测试集上的整体测试精度分别为93.58%和93.09%。结论 构建的FGSC-23数据集能够满足舰船目标识别算法的验证任务。     

局部显著特征下的光学遥感图像舷靠舰船检测

目的 在光学遥感图像中,针对舷靠舰船灰度和纹理特征与港口相近,传统方法检测效果不理想的问题,提出一种基于局部显著特征的舷靠舰船检测方法。方法 首先,对原始图像预处理得到海陆分割后的二值图像;然后,提取二值图像中的直线段作为局部显著特征检测舰船目标;再将直线段提取结果与舰首检测相结合,建立舷靠舰船检测模型;最后,通过计算舰船几何尺寸及环境信息分析确定舰船目标。结果 在两幅不同场景的光学遥感图像中验证本文方法并与其他算法进行对比,本文方法识别率可达100%,且不存在误检和漏检情况,相比于其他算法具有一定优势。在舰船背景复杂或停泊朝向不定时,文中方法可有效判别舰船停靠方向并对舰船目标进行正确标记。结论 在复杂背景环境及其他干扰下,应用本文方法检测舷靠舰船目标准确率高,鲁棒性强,具有较高适应性。     

双向特征融合的数据自适应SAR图像舰船目标检测模型

目的 利用合成孔径雷达（synthetic aperture radar,SAR）图像进行舰船目标检测是实施海洋监视的重要手段。基于深度学习的目标检测模型在自然图像目标检测任务中取得了巨大成功,但由于自然图像与SAR图像的差异,不能将其直接迁移到SAR图像目标检测中。针对SAR图像目标检测实际应用中对速度和精度的需求,借鉴经典的单阶段目标检测模型（single shot detector,SSD）框架,提出一种基于特征优化的轻量化SAR图像舰船目标检测网络。方法 改进模型并精简网络结构,提出一种数据驱动的目标分布聚类算法,学习SAR数据集的目标尺度、长宽比分布特性,用于网络参数设定;对卷积神经网络（convolutional neural network,CNN）提取的特征进行优化,提出一种双向高低层特征融合机制,将高层特征的语义信息通过语义聚合模块加成到低层特征中,在低层特征中提取特征平均图,处理后作为高层特征的注意力权重图对高层特征进行逐像素加权,将低层特征丰富的空间信息融入到高层特征中。结果 利用公开的SAR舰船目标检测数据集（SAR ship detection dataset,SSDD）进行实验,与原始的SSD模型相比,轻量化结构设计在不损失检测精度的前提下,样本测试时间仅为SSD的65%;双向特征融合机制将平均精确度（average precision,AP）值由77.93%提升至80.13%,训练和测试时间分别为SSD的64.1%和72.6%;与公开的基于深度学习的SAR舰船目标检测方法相比,本文方法在速度和精度上都取得了最佳性能,AP值较精度次优模型提升了1.23%,训练和测试时间较精度次优模型分别提升了559.34 ms和175.35 ms。结论 实验充分验证了本文所提模型的有效性,本文模型兼具检测速度与精度优势,具有很强的实用性。     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。