多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid损失函数,结合COCO数据集预训练的FCN+CRF网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF提取到的分割信息作为一元势,MSDF检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2个标准数据集Pascal context和SIFT Flow上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.     

基于改进PVANet的实时小目标检测方法

现有目标检测算法主要以图像中的大目标作为研究对象,针对小目标的研究比较少且存在检测精确度低、无法满足实时性要求的问题,基于此,提出一种基于深度学习目标检测框架PVANet的实时小目标检测方法。首先,构建一个专用于小目标检测的基准数据集,它包含的目标在一幅图像中的占比非常小且存在截断、遮挡等干扰,可以更好地评估小目标检测方法的优劣;其次,结合区域建议网络（RPN）提出一种生成高质量小目标候选框的方法以提高算法的检测精确度和速度;选用step和inv两种新的学习率策略以改善模型性能,进一步提升检测精确度。在构建的小目标数据集上,相比原PVANet算法平均检测精确度提高了10.67%,速度提升了约30%。实验结果表明,该方法是一个有效的小目标检测算法,达到了实时检测的效果。     

自适应小数据集乳腺癌病理组织分类研究

针对乳腺癌病理组织图像数据普遍存在数据集规模小、良性和恶性样本数量分布不均衡、自动识别精度低的现状,利用深度可分离卷积、小卷积核堆叠、增深降维等技术,结合文中提出的"SoftMax+WF"设计具备合理深度和宽度、适应小数据集、轻型的病理组织图像分类模型.在图像旋转、扭曲等传统增强数据方法基础上,采用随机不重复裁切法均衡良、恶性样本数量并扩充数据集.针对训练集中难以聚类的样本,提出"弱特征"概念、"弱特征"样本提取算法和自适应调整、二次训练算法改进模型训练.在参数设置和运行环境相同的条件下,进行8组比对实验,模型的准确率、敏感度、特异度均可达97％以上.实验结果证明文中设计的模型性能稳定,对小数据集和不均衡数据集具有较好的包容性和适应性.     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

一种基于深度学习的遥感图像目标检测算法

遥感图像分析在国土资源管理、海洋监测等领域有着极为广阔的应用前景。深度学习技术已在图像处理领域取得突破性进展,然而,遥感图像固有的尺寸大、目标小而密集等特点,使得将面向普通图像的深度学习方法用于遥感目标检测普遍存在定位不准确、小目标检测难、大图检测精度差等问题。针对上述难题, 提出了一种新型遥感图像目标检测算法DFS。与传统机器学习方法相比,DFS 设计了新的维度聚类模块、定制损失函数和滑动窗口分割检测机制。其中,维度聚类模块通过设计聚类机制优化定制先验框,提高定位精度;定制损失函数提高对船只等小目标的检测精度;滑动窗口分割检测解决大图检测精度低的问题。在经典遥感数据集上开展的实验对比表明,与YOLOv2相比,DFS算法的mAP提高了256%,小目标检测效率及大图检测效能大幅提高。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

多模型集成的弱监督语义分割算法

为减小池化操作造成空间信息丢失的影响,提高基于迁移学习的弱监督语义分割算法的性能,提出一种多模型集成的弱监督图像语义分割算法.该算法在迁移学习算法的基础上,利用多尺度图像的高层语义特征和单尺度图像的高中层相结合的卷积特征,分别训练2个差异化的同质型基分割模型,并与原迁移学习训练的分割模型进行加权平均,集成构造最后的分割模型.同时结合预测类别可信度调整语义分割中对应类别像素的可信度,抑制分割图中的假正例区域,提高分割的精度.在VOC2012数据集上进行实验的结果表明,验证集上的平均重叠率为55.3%,测试集上的平均重叠率为56.9%,比原迁移学习算法分别提升6.1%和11.1%,也优于其他以类标为弱监督信息的语义分割算法.     

多尺度融合增强的图像语义分割算法

针对现有的图像语义分割算法存在小尺度目标丢失和分割不连续的问题,提出多尺度融合增强的图像语义分割算法,该算法在DeeplabV3+网络模型的基础上,通过构建多尺度特征提取和融合增强网络提高了对小目标特征的描述能力,使网络在分割大目标的同时也能获得小目标的特征信息,从而解决了语义分割时小尺度目标丢失和分割不连续的问题。在Cityscapes数据集上实验的结果表明,改进后的算法明显提升了小目标分割精度,解决了分割不连续的问题。最后在公开数据集PASCAL VOC 2012上进一步验证了改进算法的泛化性。     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.     

针对新学习策略的弱小目标检测方法

基于深度卷积神经网络的目标检测在应用中展现出了良好的性能,然而,将其应用于弱小目标检测上依然性能欠佳。本文提出一种有效的弱小目标检测方法,使用改进的特征提取方法,利用尺度匹配策略选取合适的尺度进行小目标检测。同时在神经网络中设计自适应的融合模块,通过融合特征与接收域以增强目标环境特征。提出的方法在检测速度和精度上都具备良好的性能。有效解决了一般的框策略无法准确获取小目标的问题,新的策略使用自适应参数确定检测框。实验结果表明,提出的方法在视频数据中能够有效检测弱小目标,优于其它先进的目标检测方法。     

基于改进Faster R-CNN的SAR船舶目标检测方法

合成孔径雷达（Synthetic Aperture Radar, SAR）船舶检测在海洋交通监控中发挥着重要作用,传统SAR目标检测算法一般利用目标与背景杂波之间的对比度差异进行检测,在近岸海域等复杂场景下检测效果较差。为了提高在复杂场景下的检测性能,本文提出一种基于改进Faster R-CNN的船舶检测方法,在分析不同特征分辨率对检测性能影响的基础上,结合VGG的思想与扩张卷积设计一个适用于SAR船舶目标检测的特征提取网络,以提升对小型船舶目标的检测能力。另外,根据sentinel-1A数据集中目标尺寸分布选取小尺寸anchor,并通过去除冗余anchor,将检测速度提升了一倍。在sentinel-1A数据集上的实验证明本文提出的算法能够快速、有效地从复杂场景SAR图像中检测出船舶目标。     

基于弱特征增强的轻量化小目标检测方法

针对复杂背景下小目标特征经多次卷积被背景噪声淹没导致的检测精度低的问题,提出一种增强弱特征表达的一阶段轻量级小目标检测算法SA-YOLO.首先,用改进的ShuffleNetv2网络构建骨干网络,通过嵌入SE注意力模块和Inception结构,提升网络在复杂背景下的特征提取能力,有效地抑制背景噪声,充分提取弱特征;其次,在颈部网络,采用新的特征融合模块,以含有弱特征较多的低层级特征块的空间位置信息对高层级特征进行权重调整,提高不同层级的特征融合利用率,减少小目标的特征损失;最后,在头部网络,用解耦的检测头替换原YOLO耦合的检测头,解耦分类任务和回归任务,提高弱特征的解码能力,增强小目标检测的性能.在公开数据集COCO2017上进行实验,结果表明,SA-YOLO参数量仅有1.14M,小目标平均检测召回率$\rm AR_S$达到31.6%.同时,将所提出算法与近几年主流算法进行对比,结果表明,所提出算法在小目标检测方面具有较强的竞争力.     

基于遥感图像的多模态小目标检测

由于遥感图像目标往往较小且容易受光线、天气等因素的影响,所以单一模态下基于深度学习的遥感图像目标检测的准确度较低.然而,不同模态间的图像信息可以相互增强提高目标检测的性能.因此,基于RGB和红外图像,提出了一种适用于遥感图像多模态小目标检测的平衡多模态深度模型.相比简单地相加、点乘和拼接的方式融合2个模态的特征信息,设...     

基于自适应双阈值的地下目标自动检测算法

在使用探地雷达（GPR）生成的Bscan图像进行地下目标检测时，当前基于深度学习的目标检测网络模型存在训练样本需求量高、耗时长，不能区分目标显著程度，难以识别复杂目标等问题。针对以上问题，提出一种基于直方图的双阈值分割算法。首先，根据地下目标的GPR图像直方图分布特性，快速从直方图中计算出分割地下目标所需的两个阈值；然后，采用支持向量机（SVM）和LeNet的组合分类器模型对分割结果进行分类识别；最后，进行分类结果整合并统计精确度数值。相较于传统的最大类间方差法（Ostu）、迭代法等阈值分割算法，所提算法获得的地下目标分割结果结构更加完整，并且几乎不含噪声。在真实数据集上，所提算法的平均识别准确率达到了90%以上，比仅使用单一分类器的平均识别准确率提高40%以上。实验结果表明，所提算法能够同时有效分割显著和非显著性地下目标，且采用的组合分类器能够获得更好的分类结果，适用于小样本数据集的地下目标自动检测和识别。     

基于YOLO的多模态加权融合行人检测算法

在夜间光照不足、目标被遮挡导致信息缺失以及行人目标多尺度的情况下,可见光单模态行人检测算法的检测效果较差。为了提高行人检测器的鲁棒性,基于YOLO提出一种可见光与红外光融合的行人检测算法。使用Darknet53作为特征提取网络,分别提取2个模态的多尺度特征。对传统多模态行人检测算法所使用的concat融合方式进行改进,设计结合注意力机制的模态加权融合层,以加强对融合特征图的模态选择。在此基础上,使用多尺度的融合特征进行行人检测。实验结果表明,模态加权融合较concat融合有较大的精度提升,且该算法在夜间光照不足、目标遮挡和目标多尺度情况下检测效果良好,在KAIST数据集上的检测精度优于HalFusion和Fusion RPN+BDT等算法,检测速度也有较大提升。     

引入通道注意力和残差学习的目标检测器

现有目标检测器特征金字塔无法充分利用不同尺度特征图的特征信息,不适用于低分辨率图像的目标和小目标的检测.针对此问题,文中提出引入通道注意力机制和残差学习块的目标检测器.首先引入通道全局注意力机制,通过网络学习特征图中不同通道特征的权重,增强有效的全局特征信息.然后采用轻量级的残差块,突出特征的微小变化,提高低分辨率图像中小目标的检测性能.最后在用于预测的浅层特征图中融合深层特征,提高小目标的检测精度.在标准测试数据集上的实验表明,文中目标检测器适用于低分辨率图像,对小目标的检测效果较优.     

弱监督深度语义分割网络的多源遥感影像水体检测

目的 深度语义分割网络的优良性能高度依赖于大规模和高质量的像素级标签数据。在现实任务中,收集大规模、高质量的像素级水体标签数据将耗费大量人力物力。为了减少标注工作量,本文提出使用已有的公开水体覆盖产品来创建遥感影像对应的水体标签,然而已有的公开水体覆盖产品的空间分辨率低且存在一定错误。对此,提出采用弱监督深度学习方法训练深度语义分割网络。方法 在训练阶段,将原始数据集划分为多个互不重叠的子数据集,分别训练深度语义分割网络,并将训练得到的多个深度语义分割网络协同更新标签,然后利用更新后的标签重复前述过程,重新训练深度语义分割网络,多次迭代后可以获得好的深度语义分割网络。在测试阶段,多源遥感影像经多个代表不同视角的深度语义分割网络分别预测,然后投票产生最后的水体检测结果。结果 为了验证本文方法的有效性,基于原始多源遥感影像数据创建了一个面向水体检测的多源遥感影像数据集,并与基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络进行比较,交并比（intersection-over-union,IoU）分别提升了5.5%和7.2%。结论 实验结果表明,本文方法具有收敛性,并且光学影像和合成孔径雷达（synthetic aperture radar,SAR）影像的融合有助于提高水体检测性能。在使用分辨率低、噪声多的水体标签进行训练的情况下,训练所得多视角模型的水体检测精度明显优于基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络。     

改进SSD算法的道路小目标检测研究

在道路场景中,因小目标分辨率低且特征不明显,传统的目标检测算法难以确认其所属类别和位置信息,导致检测精度低、检测速度慢、漏检率高。提出一种改进SSD的道路小目标检测算法RFG_SSD。在SSD网络结构的主干部分和检测部分之间,通过引入改进的特征金字塔网络结构,融合浅层和深层感受野的特征信息,以获得小目标语义信息丰富的特征图。将深层特征提取网络ResNet 50作为改进网络的主干特征提取网络,提高整体网络的检测精度。为加快网络运算速度,基于检测层结构,利用全局平均池化层代替全连接层,减少网络参数量。实验结果表明,与SSD、VGG16+SFPN等算法相比,该算法能够有效提高小目标检测性能,且加快检测速度,其在BDD100K数据集上的平均精度和检测速度分别为98.05%和85.56 frame/s,小目标检测个数相较于SSD算法提高3倍多。     

改进YOLOX网络的轴承缺陷小目标检测方法

针对深度学习模型在工业轴承表面缺陷检测中多目标情形下的小目标漏检率高、模型特征融合不充分的问题,基于YOLOX提出一种多注意力特征加权融合的小目标缺陷检测算法。在骨干网络引入特征提取更加细粒度的Res2Block模块,同时嵌入自注意力机制,增加隐性小目标的区域特征,减少漏检率;设计内嵌坐标注意力并作为加权条件的双路金字塔特征融合网络,提升浅层细节特征和深层高级语义特征的交互融合能力;后处理阶段引入Focal Loss损失函数,增加模型对正样本目标的学习,进一步减少漏检率。实验结果表明,与原YOLOX算法相比,改进算法在自制小型列车轴承表面缺陷数据集上mAP提高了4.04个百分点,对小目标的识别率明显提升。