面向SAR目标识别的深度卷积神经网络结构设计

目的 针对用于SAR （synthetic aperture radar） 目标识别的深度卷积神经网络模型结构的优化设计难题,在分析卷积核宽度对分类性能影响基础上,设计了一种适用于SAR目标识别的深度卷积神经网络结构。方法 首先基于二维随机卷积特征和具有单个隐层的神经网络模型-超限学习机分析了卷积核宽度对SAR图像目标分类性能的影响;然后,基于上述分析结果,在实现空间特征提取的卷积层中采用多个具有不同宽度的卷积核提取目标的多尺度局部特征,设计了一种适用于SAR图像目标识别的深度模型结构;最后,在对MSTAR （moving and stationary target acquisition and recognition） 数据集中的训练样本进行样本扩充基础上,设定了深度模型训练的超参数,进行了深度模型参数训练与分类性能验证。结果 实验结果表明,对于具有较强相干斑噪声的SAR图像而言,采用宽度更大的卷积核能够提取目标的局部特征,提出的模型因能从输入图像提取目标的多尺度局部特征,对于10类目标的分类结果（包含非变形目标和变形目标两种情况）接近或优于已知文献的最优分类结果,目标总体分类精度分别达到了98.39%和97.69%,验证了提出模型结构的有效性。结论 对于SAR图像目标识别,由于与可见光图像具有不同的成像机理,应采用更大的卷积核来提取目标的空间特征用于分类,通过对深度模型进行优化设计能够提高SAR图像目标识别的精度。     

自适应权重金字塔和分支强相关的SAR图像舰船检测

目的 合成孔径雷达(synthetic aperture radar,SAR)图像舰船目标检测在军事、民生领域发挥重要作用。由于SAR图像背景复杂且多为小尺度舰船目标,同时图像中的相干斑噪声导致舰船目标边缘模糊,现阶段目标检测模型无法快速高效地实现目标检测任务。为了提高模型检测精度,使模型具有更好的鲁棒性,提出了自适应权重金字塔和分支强相关的SAR图像检测模型。方法 对特征提取网络提取的特征图经过采样、融合处理获得特征自适应权重,然后利用权重指导每层特征图充分融合空间位置信息和语义信息,更好地检测小尺度目标;分支强相关模块融合分类分支和回归分支的特征,对融合后的待检测特征分别采用1×1、3×3对称卷积核和1×3、3×1非对称卷积核捕获不同的舰船特征;构建Io U(intersection over union)分支,利用Io U分支作用于分类分支,避免高Io U低分类置信度的候选框被抑制,通过设置平衡因子平衡Io U分支和分类分支,使其能更好地指导回归分支优化候选框。结果 在公开的遥感数据集SSDD(SAR ship detection dataset)上实验结果表明,本文模型的检测精...     

基于可变形卷积的服装检索方法

传统的服装检索方法使用固定形状的感受野,当服装目标存在几何变形时无法有效地提取其特征。针对这个问题,提出基于可变形卷积和相似性学习的服装检索方法。首先,构建可变形卷积网络,自动学习服装特征的采样位置和服装图像的哈希编码;然后,级联相似性学习网络,度量哈希编码的相似性;最后,根据相似性评分产生检索结果。实验结果表明,该方法能够有效地提取存在几何变形的服装目标的特征,从而减少了图像背景特征的干扰,提高了检索模型的准确率。     

融合多重机制的SAR舰船检测

目的 针对合成孔径雷达(synthetic aperture radar, SAR)图像噪声大、成像特征不明显,尤其在复杂场景更容易出现目标误检和漏检的问题,提出了一种融合多重机制的SAR舰船检测方法,用于提高SAR舰船检测的精度。方法 在预处理部分,设计了U-Net Denoising模块,通过调整噪声方差参数L的范围来抑制相干斑噪声对图像的干扰。在YOLOv7(you only look once v7)主干网络构建MLAN_SC(maxpooling layer aggregation network that incorporate select kernel and contextual Transformer)结构,加入SK(selective kernel)通道注意力机制至下采样阶段,增强关键信息提取能力和特征表达能力。为解决MP(multiple pooling)结构中上下分支特征不平衡的问题,改善误检情况,融入上下文信息提取模块(contextual Transformer block, COT),利用卷积提取上下文信息,将局部信息和全局信息结合起来,使图像特征能够更有效地提取出来。在头部引入SPD卷积(space-to-depth convolution, SPD-Conv),增强小目标的检测能力。用WIoU(wise intersection over union)损失函数替换CIoU(complete intersection over union)损失函数,运用动态聚焦机制,在复杂图像上加强对目标的定位能力。结果 在SSDD(SAR ship detection dataset)数据集和HRSID (high-resolution SAR images dataset)数据集上进行了实验对比,结果表明,改进后的方法相比于YOLOv7,AP(average precision)可达到99.25%和89.73%,分别提升了4.38%和2.57%,准确率和召回率为98.41%,93.24%和94.79%,81.83%,优于对比方法。结论 本文通过融合多重机制改进YOLOv7方法,提升了对目标的定位能力,显著改善了SAR舰船检测中复杂舰船的误检和漏检情况,进一步提高了SAR舰船检测精度。     

基于特征增强的SAR图像舰船小目标检测算法

针对合成孔径雷达(SAR)图像中小目标舰船检测困难的问题,提出基于单次多盒检测器的一种特征增强小目标检测算法.首先提出一种混合多特征提取模块,采用并行的普通卷积、不同空洞率的空洞卷积以及非对称卷积形成与舰船目标相匹配的感受野,以提高浅层网络对复杂形状小目标的特征提取能力;然后提出一种邻近多特征融合模块,将特征信息进行更科学的深层次融合,对小目标特征进一步增强;最后根据SAR图像单通道的特性,缩减特征提取网络VGG-16的冗余特征通道.在公开的SSDD数据集上与其他检测算法进行对比实验,实验结果表明,所提出方法将平均精确度提升至93.44%,检测速度提升至41.8FPS,参数量减少为18.74M,综合性能优于其他检测算法.     

基于级联CNN的SAR图像舰船目标检测算法

针对合成孔径雷达(SAR)图像中舰船目标稀疏的特点,提出一种基于级联卷积神经网络(CNN)的SAR图像舰船目标检测方法.将候选区域提取方法BING与目标检测方法Fast R-CNN相结合,并采用级联CNN设计,可同时兼顾舰船检测的准确率和速度.首先,针对SAR图像中相干斑噪声影响梯度检测的问题,在原有梯度算子的基础上增加平滑算子,并对图像尺寸个数和候选框个数进行适应性改进,使其提取到的候选窗口更快更准;然后,设计级联结构的Fast R-CNN检测框架,前端简单的CNN负责排除明显的非目标区域,后端复杂的CNN对高概率候选区域进行分类和位置回归,整个结构可以保证快速准确地对舰船这种稀疏目标进行检测;最后,设计一种联合优化方法对多任务的目标函数进行优化,使其更快更好地收敛.在SAR图像舰船检测数据集SSDD上的实验结果显示,所提出的方法相比于原始Fast R-CNN和Faster R-CNN检测方法,检测精度从65.2%和70.1%提高到73.5%,每张图像的处理时间从2235ms和198ms下降到113ms.     

基于注意力机制与DUsamplingU-Net网络的建筑物提取

针对常用语义分割模型因神经元接受域大小固定导致特征提取不充分、双线性上采样无法精确恢复像素级预测等问题,提出基于卷积核注意力机制和DUsampling(data-dependent upsampling)的卷积神经网络改进算法.算法引入卷积核注意力机制,利用选择性卷积核提取图像整体与局部细节特征,加强网络对建筑物特征的...     

可变形卷积网络研究综述

近年来,随着深度学习的快速发展,可变形卷积网络因其强大的特征提取能力受到广泛关注,克服了卷积神经网络中难以解决的一些问题,并且已在计算机视觉、自然语言处理等相关领域发挥重要作用。由于目前对可变形卷积网络进行系统性总结的研究还很少,为了给后续研究提供详细的参考依据,对可变形卷积网络引入以来的相关工作进行总结。首先,综述了近几年的高质量文献,从不变性特征的角度入手,对可变形卷积网络中的可变形卷积和可变形感兴趣区域池化等核心技术进行介绍。然后,将收集到的相关文献按照研究领域的不同进行分类,全面概括现阶段可变形卷积网络在图像识别和分类、目标检测、图像分割、目标追踪等研究领域的应用情况,同时还对比了重要网络模型的性能和优缺点。其次,通过梳理文献,分析可变形卷积网络存在的优势和不足,并根据现阶段存在的一些问题,探讨可变形卷积网络未来可能的研究趋势。最后,基于不变性特征的提取对可变形卷积网络进行了总结和展望。     

基于边缘检测的卷积核数量确定方法

针对卷积神经网络中卷积核数量多凭经验确定的问题,提出了一种统计图像边缘信息来确定卷积核数量的方法。首先,采用边缘检测算子对训练图像进行边缘检测,并依据卷积层的卷积核尺寸对边缘图像进行边缘块提取;然后,统计提取到的边缘块以获得边缘特征矩阵;最后,计算边缘特征矩阵各列的方差,将方差排序且归一化,选择方差较大部分边缘类型的个数作为卷积核数量。在Mnist和Chars74K数据集上的实验结果表明,本文方法能依数据集特点自适应地确定卷积核数量,构造的卷积神经网络模型大小适应于特定数据集,且能获得较高分类准确率。     

融合可变形卷积网络的鱼眼图像目标检测

环视鱼眼图像具有目标形变大和图像失真的缺点,导致传统网络结构在对鱼眼图像进行目标检测时效果不佳。为解决环视鱼眼图像中由于目标几何畸变而导致的目标检测难度大的问题,提出一种基于可变形卷积网络的鱼眼图像目标检测方法。将Cascade_RCNN中固定的卷积层和池化层分别替换为可变形卷积层和可变形池化层,使用Resnet50网络提取候选区域以获得检测框,级联具有不同IoU阈值的检测网络进行检测框抑制。在公开鱼眼图像数据集SFU_VOC_360和本文所采集的真实道路场景鱼眼图像数据集上进行实验,结果表明,该方法在鱼眼图像目标检测中具有有效性,目标检测准确率高于Cascade_RCNN网络。     

多特征融合的文档图像版面分析

目的 在文档图像版面分析上,主流的深度学习方法克服了传统方法的缺点,能够同时实现文档版面的区域定位与分类,但大多需要复杂的预处理过程,模型结构复杂。此外,文档图像数据不足的问题导致文档图像版面分析无法在通用的深度学习模型上取得较好的性能。针对上述问题,提出一种多特征融合卷积神经网络的深度学习方法。方法 首先,采用不同大小的卷积核并行对输入图像进行特征提取,接着将卷积后的特征图进行融合,组成特征融合模块;然后选取DeeplabV3中的串并行空间金字塔策略,并添加图像级特征对提取的特征图进一步优化;最后通过双线性插值法对图像进行恢复,完成文档版面目标,即插图、表格、公式的定位与识别任务。结果 本文采用mIOU（mean intersection over union）以及PA（pixel accuracy）两个指标作为评价标准,在ICDAR 2017 POD文档版面目标检测数据集上的实验表明,提出算法在mIOU与PA上分别达到87.26%和98.10%。对比FCN（fully convolutional networks）,提出算法在mIOU与PA上分别提升约14.66%和2.22%,并且提出的特征融合模块对模型在mIOU与PA上分别有1.45%与0.22%的提升。结论 本文算法在一个网络框架下同时实现了文档版面多种目标的定位与识别,在训练上并不需要对图像做复杂的预处理,模型结构简单。实验数据表明本文算法在训练数据较少的情况下能够取得较好的识别效果,优于FCN和DeeplabV3方法。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

基于改进RetinaNet的船舶检测算法

目前基于深度学习算法的目标检测技术在合成孔径雷达（SAR）图像船舶检测中取得了显著的成果,然而仍存在着小目标船舶和近岸密集排列船舶检测效果差的问题。针对上述问题,提出了基于改进RetinaNet的船舶检测算法。在传统RetinaNet算法的基础上,首先,将特征提取网络残差块中的卷积改进为分组卷积,以增加网络宽度,从而提高网络的特征提取能力;其次,在特征提取网络的后两个阶段加入注意力机制,让网络更加专注于目标区域,从而提升目标检测能力;最后,将软非极大值抑制（Soft-NMS）加入到算法中,降低算法对于近岸密集排列船舶检测的漏检率。在高分辨率SAR图像数据集（HRSID）和SAR船舶检测数据集（SSDD）上的实验结果表明,所提改进算法对于小目标船舶和近岸船舶的检测效果得到了有效提升,与当前优秀的目标检测模型Faster R-CNN、YOLOv3和CenterNet等相比,在检测精度和速度上更加优越。     

SAR图像目标识别的卷积神经网模型

目的 合成孔径雷达图像目标识别可以有效提高合成孔径雷达数据的利用效率。针对合成孔径雷达图像目标识别滤波处理耗时长、识别精度不高的问题,本文提出一种卷积神经网络模型应用于合成孔径雷达图像目标识别。方法 首先,针对合成孔径雷达图像特点设计特征提取部分的网络结构;其次,代价函数中引入L2范数提高模型的抗噪性能和泛化性;再次,全连接层使用Dropout减小网络的运算量并提高泛化性;最后研究了滤波对于网络模型的收敛速度和准确率的影响。结果 实验使用美国运动和静止目标获取与识别数据库,10类目标识别的实验结果表明改进后的卷积神经网络整体识别率（包含变体）由93.76%提升至98.10%。通过设置4组对比实验说明网络结构的改进和优化的有效性。卷积神经网络噪声抑制实验验证了卷积神经网络的特征提取过程对于SAR图像相干斑噪声有抑制作用,可以省去耗时的滤波处理。结论 本文提出的卷积神经网络模型提高了网络的准确率、泛化性,无需耗时的滤波处理,是一种合成孔径雷达图像目标识别的有效方法。     

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点, 目标检测中易造成漏检误检率较高的问题, 针对这些问题, 提出一种高阶深度可分离无人机图像小目标检测算法. 首先, 结合CSPNet结构与ConvMixer网络, 深度可分离卷积核, 获取梯度结合信息, 并引入递归门控卷积C3模块, 提升模型的高阶空间交互能力, 增强网络对小目标的敏感度; 其次, 检测头采用两个头部进行解耦, 分别输出特征图分类和位置信息, 加快模型收敛速度; 最后, 使用边框损失函数EIoU, 提高检测框精准度. 在VisDrone2019数据集上的实验结果表明, 该模型检测精度达到了35.1%, 模型漏检率和误检率有明显下降, 能够有效地应用于无人机图像小目标检测任务. 在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试, 实验结果表明, 该模型具有良好的鲁棒性.     

基于改进型C3D神经网络的动作识别技术

Facebook提出的C3D三维卷积神经网络虽然能达到良好的视频动作识别准确率,但是在速度方面还有很大的改进余地,而且训练得到的模型过大,不便于移动设备使用。本文利用小型卷积核能够减少参数的特点,对已有网络结构进行优化,提出一种新的动作识别方案,将原C3D神经网络常用的3×3×3卷积核分解成深度卷积和点卷积（1×1×1卷积核）,并且在UCF101数据集和ActivityNet数据集训练测试。结果表明,与原C3D网络进行对比：改进后的C3D网络准确率比C3D提升了2.4%,在速度方面比C3D提升了12.9%,模型大小压缩到原来的25.8%。     

可变形NTS-Net的螺栓属性多标签分类

目的 螺栓是确保输电线路安全牢靠的基石,螺栓缺销、松动和锈蚀等缺陷是造成输电线路损坏甚至重大事故的重要原因之一。本文针对螺栓缺陷存在视觉不可分的问题,提出了一种改进NTS-Net（navigator-teacher-scrutinizer network）的螺栓属性多标签分类方法。方法 为了增强模型对不规则轮廓的处理能力,采用可变形卷积的ResNet-50网络作为特征提取网络从原图中提取全局特征。利用NTS-Net学习得到图像信息量最大的判别性局部区域。为了考虑不同局部特征对不同属性标签的不同影响,在局部特征与全局特征融合时引入通道注意力机制,提取特征的通道权重,获取关键通道特征以改善多标签分类效果。结果 实验结果表明,本文在螺栓多属性分类数据集上的平均分类精确率为84.5%,比采用传统的多标签分类精确率提升了10%~20%。结论 本文通过可变形卷积提升网络的特征提取能力以及引入通道注意力机制实现了对NTS-Net提供的局部特征的高效利用,为解决螺栓多属性分类中存在的问题提供了一种新的思路。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。