卷积神经网络研究综述

近年来,卷积神经网络在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果,其强大的特征学习与分类能力引起了广泛的关注,具有重要的分析与研究价值。首先回顾了卷积神经网络的发展历史,介绍了卷积神经网络的基本结构和运行原理,重点针对网络过拟合、网络结构、迁移学习、原理分析四个方面对卷积神经网络在近期的研究进行了归纳与分析,总结并讨论了基于卷积神经网络的相关应用领域取得的最新研究成果,最后指出了卷积神经网络目前存在的不足以及未来的发展方向。     

全卷积神经网络研究综述

近年来,全卷积神经网络发展迅猛,在多个视觉研究领域表现出了非常亮眼的成绩。重点收集了近几年的高质量文献,对其中提出的全卷积方法进行分析总结,力求让读者通过对研读,对全卷积神经网络的关键技术、研究现状和最新进展有一个比较全面的了解。将收集到的文献,按照研究领域的不同进行分类汇总,重点提取几个研究非常活跃的领域,详细介绍一些非常具有代表性的算法,并重点介绍了各种方法的精髓所在,同时还对近一年来的最新研究进展进行了概述。通过对大量文献的梳理研究,总结出全卷积神经网络在近几年取得的成就,分析各种方法的优缺点,根据全卷积神经网络目前还存在的一些问题,归纳出未来可能的发展方向。     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

基于可变形卷积和数据增强的三维多目标检测

近年来,自动驾驶受到越来越多的关注,以点云为输入数据的三维目标检测在该领域中发挥着至关重要的作用。然而,点云目标的尺度差异性以及变换性等问题,导致了目标检测精度的下降。以CenterPoint网络为框架,提出了一种基于可变形卷积和数据增强的三维多目标检测优化算法,该方法提取点云特征后生成地图视角的特征图谱,在检测头网络加入可变形卷积层,并引入图像翻转方法进行数据增强,提高网络对于目标的检测能力。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在汽车、公交车以及行人等类别的检测精度上有一定程度的提升。     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于可变形卷积的服装检索方法

传统的服装检索方法使用固定形状的感受野,当服装目标存在几何变形时无法有效地提取其特征。针对这个问题,提出基于可变形卷积和相似性学习的服装检索方法。首先,构建可变形卷积网络,自动学习服装特征的采样位置和服装图像的哈希编码;然后,级联相似性学习网络,度量哈希编码的相似性;最后,根据相似性评分产生检索结果。实验结果表明,该方法能够有效地提取存在几何变形的服装目标的特征,从而减少了图像背景特征的干扰,提高了检索模型的准确率。     

表格检测与结构识别综述

针对当前文档分析领域中表格分析的发展现状,整理了近年来领域内的相关文献,分别对表格检测和表格结构识别两个关键任务进行研究。针对表格检测任务,将其划分为基于目标检测、图神经网络、生成对抗网络、可变卷积网络的方法;针对表格结构识别任务,将其划分为基于目标检测、图神经网络、循环神经网络、可变卷积与扩张卷积网络的方法。总结了各类模型的方法路径和局限性,梳理了相关任务及其对应的数据集。更广泛地总结了表格分析领域常用的公开数据集,并对各数据集的来源、规模、适用范围及文件类型进行详细介绍。列举了表格分析领域常用的评价指标,并按照实验数据集的不同对现有模型的实验结果进行对比。总结了当前表格分析领域的发展状况,并对未来发展方向进行了展望。     

基于注意力机制和可变形卷积的金属表面细微不规则损伤的图像识别模型

对金属表面细微损伤的检测,传统的目标识别算法泛化能力较弱,而使用深度卷积神经网络的通用检测算法容易丢失小目标特征,其使用的传统正方形结构卷积不适用于处理长条状等不规则损伤。针对以上问题,提出了一种基于注意力机制和可变形卷积的级联神经网络目标检测模型ADC-Mask R-CNN。在ResNet101主干网络中嵌入通道域注意力与空间域注意力,以增强对小损伤目标的检测效果;采用可变形卷积与可变形感兴趣区域池化技术,提升了对不规则损伤的检测效果;通过级联网络实现了检测结果的进一步优化。在金属表面损伤数据集上的对比实验结果表明,ADC-Mask R-CNN模型可以提高金属表面细微不规则损伤的检测性能。     

融合VovNet网络和可变形卷积的非机动车辆检测

针对道路监控下因监控探头高度角度不同,目标非机动车辆存在不同形式的模糊形变问题且特征信息不足造成的漏检误检现象,提出了一种融合VovNet网络和可变形卷积的非机动车辆检测模型.使用一次聚类连接网络(VovNet)结合原网络特点提出的CSPVovNet替换原有的CSPDarknet主干网络进行特征的提取,增强了有效特征的复用,缓解因深层卷积造成的小目标物体特征信息进一步丢失的问题.将可变形卷积引入到不同的网络层替换传统卷积,在公共数据集Pascal VOC2007和自建非机动车辆数据集上分别训练测试,根据最终性能选择YOLOv5-C方案.改进后的网络选取EIoU＿loss作为定位损失,通过消融实验验证得出最终改进对网络性能有所提升,最终的网络优化结果较原YOLOv5s网络mAP提升了4.14个百分点,对漏检误检现象很好的缓解.     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

卷积神经网络表征可视化研究综述

近年来,深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展,这些任务多以卷积神经网络为基础搭建识别模型,训练后的模型拥有优异的自动特征提取和预测性能,能够为用户提供“输入–输出”形式的端到端解决方案.然而,由于分布式的特征编码和越来越复杂的模型结构,人们始终无法准确理解卷积神经网络模型内部知识表示,以及促使其做出特定决策的潜在原因.另一方面,卷积神经网络模型在一些高风险领域的应用,也要求对其决策原因进行充分了解,方能获取用户信任.因此,卷积神经网络的可解释性问题逐渐受到关注.研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法,包括事后解释方法和构建自解释的模型等,这些方法各有侧重和优势,从多方面对卷积神经网络进行特征分析和决策解释.表征可视化是其中一种重要的卷积神经网络可解释性方法,能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现,从而快速获取对卷积神经网络内部特征和决策的理解,具有过程简单和效果直观的特点.对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾,按照以下几个方面组织内容:表征可视化研究的提起、相关概念及内容、可视化方法、...     

融入混合注意力的可变形空洞卷积近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar, SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border d...     

基于Faster RCNN的行人检测方法

借鉴目标识别领域的快速区域卷积神经网络(Fast RCNN),提出了基于Faster RCNN的行人检测方法,利用CNN提取图像特征,通过聚类和构建区域建议网络(RPN)提取可能含有行人的区域,利用检测网络对目标区域进行判别和分类,并在INRIA数据集中进行了测试验证。实验结果表明:相比基于可变形的组件模型(DPM)的行人检测方法,提出的方法,在测试集上检测准确度达到92. 7%,相比现有的其他方法,其检测效果更好。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

快速卷积算法的综述研究

卷积神经网络是深度学习算法应用最广泛的方向之一,目前卷积神经网络的应用不仅仅是停留在科技领域,已经扩展到医学、军事等领域,并且已在相关领域发挥着巨大的作用。卷积是卷积神经网络中最为核心的一部分,卷积运算占整个网络70%以上的时间,所以针对卷积运算的加速研究就显得十分重要。首先介绍近年来的卷积算法,并对其复杂度进行分析,总结了这些算法各自的优点和不足,最后对其理论研究和应用领域可能存在的突破进行了探讨和展望。     

可变形NTS-Net的螺栓属性多标签分类

目的 螺栓是确保输电线路安全牢靠的基石,螺栓缺销、松动和锈蚀等缺陷是造成输电线路损坏甚至重大事故的重要原因之一。本文针对螺栓缺陷存在视觉不可分的问题,提出了一种改进NTS-Net（navigator-teacher-scrutinizer network）的螺栓属性多标签分类方法。方法 为了增强模型对不规则轮廓的处理能力,采用可变形卷积的ResNet-50网络作为特征提取网络从原图中提取全局特征。利用NTS-Net学习得到图像信息量最大的判别性局部区域。为了考虑不同局部特征对不同属性标签的不同影响,在局部特征与全局特征融合时引入通道注意力机制,提取特征的通道权重,获取关键通道特征以改善多标签分类效果。结果 实验结果表明,本文在螺栓多属性分类数据集上的平均分类精确率为84.5%,比采用传统的多标签分类精确率提升了10%~20%。结论 本文通过可变形卷积提升网络的特征提取能力以及引入通道注意力机制实现了对NTS-Net提供的局部特征的高效利用,为解决螺栓多属性分类中存在的问题提供了一种新的思路。     

深度卷积神经网络在目标检测中的研究进展

深度卷积神经网络以多层次的特征学习与丰富的特征表达能力,在目标检测领域取得了突破进展。概括了卷积神经网络在目标检测领域的研究进展,首先回顾传统目标检测的发展及存在的问题,引出卷积神经网络的目标检测基本原理和基本训练方法;然后分析了以R-CNN为代表的基于区域建议的目标检测框架,介绍以YOLO算法为代表的将目标检测归结为回归问题的目标检测框架;最后,对目前目标检测的一些问题进行简要总结,对未来深度卷积神经网络在目标检测的发展进行了展望。     

基于可变向卷积网络的语义分割算法

随着深度学习方法的不断发展,基于深度卷积网络特征的语义分割已经成为自动驾驶、室内导航、遥感制图等领域视觉感知应用的一项重要技术.然而对于多样性变化背景中的目标图像,现有基于局部上下文卷积特征的语义分割方法仍然存在分类精度低的问题.为此,提出了基于可变向卷积网络的语义分割算法.首先,在特征图每一个像素点上预测对象主要观测...