嵌入双注意力机制的Faster R-CNN航拍输电线路螺栓缺陷检测

目的 螺栓是输电线路上最普遍、数量最多的部件,螺栓缺陷检测是输电线路视觉检测任务的一大难点。针对螺栓目标存在背景复杂、目标过小、不同类别之间差异小以及精细特征难以提取的问题,提出一种双注意力机制方法,分别对不同尺度和不同位置的视觉特征进行分析和增强。方法 对于不同尺度的特征,网络使用不同尺度的特征图计算出相应的注意力图,然后将相邻层的注意力图差异性作为正则化项加入网络中,从而增强螺栓区域的精细特征。对于不同位置的特征,先使用特征图计算出图像的空间注意力图,注意力图中每个元素表示两个空间位置的相似程度,然后利用注意力图将局部特征与全局特征融合,从而在全局视野上增强相似的区域,达到增大螺栓与背景的特征差异程度,实现提高螺栓区域的预测效果。结果 本文在航拍输电线路典型螺栓数据集上进行测试,与基线相比,结合双注意力机制的航拍输电线路螺栓检测方法的平均准确率提高了2.21%,其中正常螺栓类提升了0.29%,缺销螺栓类提升了5.23%,螺母缺失螺栓类提升了1.1%。结论 本文提出的基于双注意力机制的航拍输电线路螺栓缺陷检测方法取得了良好的效果,有效避免了螺栓缺陷检测中的误判漏判问题,为进一步对输电线路其他缺陷任务奠定了良好的基础。     

基于图知识推理的输电线路缺销螺栓识别方法

针对输电线路缺销螺栓识别任务中存在的视觉不可分与样本不平衡问题,提出了基于图知识推理的输电线路缺销螺栓识别方法。首先通过知识表达模块学习到各类螺栓有判别力特征的类别表示;然后深入挖掘螺栓数据集中螺栓种类之间的相关性,提取出标签共现信息;最后将类别表示作为输入特征,以静态图和动态图的相关概率矩阵表征标签共现信息,通过知识推理模块完成图知识的传播与增强,从而实现缺销螺栓的识别。在实验阶段,将所选取的3类金具上的6种螺栓作为实验对象。对比实验结果表明,本文方法对缺销螺栓的识别效果优于其他方法,较原始模型提升了9.13%的准确率。消融实验结果表明,本文所提取的螺栓类别表示、静态图及动态图信息均能够提升缺销螺栓的识别效果。     

面向光学遥感图像典型目标检测的SSD模型优化

本文面向光学遥感图像目标检测应用,针对光学遥感图像中的典型目标一飞机和汽车,提出一种改进的SSD模型:首先在SSD (Single Shot multibox Detector)网络模型基础上引入多尺度特征融合模块,实现深层特征与浅层特征的融合以获得更多的特征上下文信息,增强网络对目标特征的提取能力;其次根据数据集目标样本尺寸分布特征进行聚类分析获得更准确的默认目标框参数,从而有效提升网络对目标位置信息的提取能力.将本文模型与SSD及YOLOv3模型在常用遥感图像目标检测数据集上进行对比,目标检测精度均有较大提升,验证了该模型的有效性.     

基于特征融合的SSD视觉小目标检测

针对SSD算法在检测目标过程中对小目标检测效果差的缺陷,提出了特征融合的SSD方法。该方法充分融合深浅层特征信息以提升网络模型对小目标的检测能力,为更好地检测小目标,将先验框尺寸相对原图比列进行调整,同时对SSD模型相应超参数值进行调整。实验结果表明,检测精度mAP较SSD提高3.4个百分点,对小目标Bottle、Chair、Plant检测精度分别提升8.7个百分点、3.4个百分点和7.1个百分点。检测精度mAP较当前一系列性能优异的目标检测算法有显著提高。通过拓展实验进一步证明改进算法成功检测到了大多数SSD算法没有检测到的小目标,提高了平均检测准确率。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

改进RetinaNet的电力设备目标检测方法

针对电力设备检测中小目标识别精度低的问题,提出一种基于RetinaNet的电力设备目标检测方法。通过K-means聚类方法优化原始网络的锚点框尺寸。然后在特征融合中加入拥有更高分辨率的浅层特征图,解决通过多层卷积后特征图包含信息过少的问题。在此基础上,引入ECA(Efficient Channel Attention)注意力机制,使网络定位电力设备的有效特征,抑制无用特征信息。实验结果表明,相比原始方法,本文方法对于电塔、销钉、工程车、绝缘子、电杆5种电力设备的平均识别精度提升了18.1个百分点,表明改进后的方法能显著提高电力设备的检测水平。     

基于环境上下文和语义特征融合的小目标检测算法

针对现阶段目标检测领域中小目标由于特征信息匮乏而难以检测的问题,提出了一种基于SSD(Single Shot multibox Detector)算法的改进小目标检测算法（CS-SSD）。首先,以特征金字塔中不同大小的感受野表达出的不同特征信息为基础,在SSD算法的主干框架上增加了环境上下文特征融合模块以及自顶向下的语义特征融合模块,为小目标提供环境上下文和语义特征信息;然后,在SSD算法的检测层上增加基于残差结构的检测头,从而充分利用融合后的特征以提高检测精度;最后,使用一种受人类学习方式启发的分阶段网络训练算法来缓解小目标与中大型目标在网络训练中损失不平衡问题。在VOC07+12数据集上进行实验,CS-SSD算法的平均检测精度（mAP）达到了82.00%,相较于SSD算法提升了2.08个百分点;同时小目标平均检测精度相较于SSD算法提升了7.87个百分点。实验结果表明,CS-SSD算法能充分融合网络中的环境上下文和语义特征信息以达到提高小目标检测精度的效果。     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

基于深度学习的实时车辆检测研究

针对城市交通复杂场景下车辆检测存在准确率低的问题,提出改进SSD(单发多箱探测器)目标检测算法。首先基于轻量化的PeleeNet(一种基于密集卷积网络的轻量化网络变体)网络结构改进SSD算法中VGG16(视觉几何群网络)特征提取网络,在保证提取丰富特征的前提下,有效地减少模型参数,提高模型的实时性;其次设计了多尺度特征融合模块和底层特征增强模块,提高特征的表达性能;最后根据数据集中目标的大小调整默认框的长宽比例,并在后三个特征层的每个单元上增加默认框。实验结果表明,改进后的目标检测算法的准确率mAP(平均精度)为79.83%,与原始SSD相比提高了2.25%,并验证了改进SSD算法的有效性。     

基于改进SSD的食物浪费行为识别方法

为更准确地识别现实生活中复杂环境下的食品浪费行为,提出一种改进单激发多盒检测器(SSD)算法,增强算法在检测遮挡对象时的鲁棒性。将SSD基础网络替换成Resnet,增强特征提取能力。以实际应用中数据集真实框大小为依据,重新设计SSD检测时默认框的生成比例。通过添加SE模块,使模型在训练过程中增强重要通道信息。利用双向融合特征金字塔网络(BiFPN)对不同检测层中的特征进行融合。实验结果表明,改进后的SSD目标检测算法在自制的浪费行为数据集中检测精度达到88.49%,相比原始SSD提高了5.09%。     

列车闸瓦钎及闸瓦故障图像检测算法研究

列车闸瓦钎及闸瓦状态正常与否对于货运列车安全运行极其重要,为此提出了一种改进的 SSD 目标检测算法,对货运列车闸瓦钎及闸瓦的缺失进行检测。首先将深度可分离卷积模块引入 ResNet50 网络模 型,使其参数数量减少约 50%,以提高检测效率。其次,将改进后的 ResNet50 网络模型替换 SSD 中的 VGG16 网络,以改善 SSD 网络模型的特征提取能力。然后利用高、低层特征融合的方法,将网络中 Conv5_3 和 Conv7_2 分别与 Conv4_6 和 Conv6_2 进行特征融合,提高检测精度。最后通过自建的货运列车制动部件缺失数据集对 网络进行训练获取比较准确的网络权重。实验结果表明,改进后的 SSD 算法在闸瓦钎丢失检测中准确率达到 96.85%,召回率达到 89.50%;在闸瓦丢失检测中准确率达到 97.01%,召回率达到 97.01%,可以满足列车闸瓦 钎及闸瓦缺失检测需求。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于多尺度特征融合的小目标行人检测

针对SSD当前存在的小目标漏检以及误检问题,结合反卷积与特征融合思想,提出hgSSD模型。将原SSD特征层反卷积后与较浅层特征结合,实现复杂场景下小目标行人检测。为了保留浅层网络特征,提高算法实时性,节省计算资源,hgSSD模型基础网络使用VGG16,而非更深层的ResNet101。为了加强对小目标的检测,将VGG16中的Conv3_3改进为特征层加入训练。融合后的网络相对于SSD较为复杂,但基本保证实时性,且成功检测到大部分SSD网络漏检的小目标,检测精度相比于SSD模型也有提升。在选择框置信度得分阈值为0.3的情况下,基本检测到SSD漏检小目标。在VOC2007+2012中相对于SSD行人检测的Average Precision值从0.765提升为0.83。     

基于改进SSD算法的车辆检测

SSD算法利用多尺度特征图进行分类和位置回归,检测小目标效果优于YOLO算法,但SSD算法在进行车辆检测时存在漏检问题。为此,提出一种改进SSD算法。为提取更多的车辆特征信息,设计改进Inception模块替代SSD网络中的Conv8、Conv9和Conv10层。将浅层特征的位置信息和深层特征的语义信息进行均衡化融合,构建多尺度特征融合均衡化网络,提高小目标车辆识别率。在特征提取层均引入SENet,对不同特征通道的重要性进行重标定以提高模型性能。实验结果表明,改进后SSD算法在自制的车辆数据集上平均精度为90.89%,检测速度达到59.42 frame/s,相比改进前的SSD算法,在精度和速度上分别提高2.65个百分点和17.41 frame/s,能够更快速、准确地对图像中的车辆进行识别和定位。     

基于SRCNN和SSD网络的小目标检测方法

针对实时目标检测SSD(Sing shot multibox detector)算法对小目标检测能力弱的问题,提出一种提高特征图分辨率的超分辨率重建SRCNN(Super Resolution Convolutional Neural Networks)设计策略。改进算法是在SSD基础网络VGG_16网络的conv4_3卷积层上进行的,把conv4_3卷积层产生的特征图通过SRCNN网络进行超分辨重建以提高conv4_3卷积层的特征图分辨率。然后再利用超分辨重建后的特征图和原特征图一起为小目标检测提供所需要的特征。实验表明上述设计方法相比于原经典SSD算法具有更高的检测精度和检测能力,以及在小目标检测上的效果更加明显。     

基于改进SSD算法的遥感图像目标检测

在遥感图像目标检测领域,多数目标检测算法针对小目标检测时效果不佳,为此,提出一种多尺度特征融合的遥感图像目标检测算法。利用SSD算法的基础网络进行特征提取,形成特征图金字塔。设计特征图融合模块,融合浅层特征图的位置信息和深层特征图的语义信息,从而保留丰富的上下文信息。设计冗余信息去除模块,通过卷积操作进一步提取特征图中的特征,并对特征信息进行筛选,以减少特征图融合时带来的混叠效应。在遥感图像数据集NWPU VHR-10上的实验结果表明,该算法的平均检测精度高达93.9%,其针对遥感图像小目标的检测性能优于Faster R-CNN和SSD等算法。     

基于空洞卷积与特征增强的单阶段目标检测算法

基于卷积神经网络目标检测算法的浅层特征图包含丰富的细节信息,但缺乏语义信息,而深层特征图则相反。为充分利用浅层和深层特征图特征,解决多尺度目标检测问题,提出一种新的单阶段目标检测算法（AFE-SSD）。以SSD算法为基础,分别对该算法中相邻的2个特征图进行特征融合,从而丰富浅层特征层的语义信息。通过对并行空洞卷积机制进行改进,构建多尺度特征提取模块,将融合后的特征图通入多尺度特征提取模块的方式丰富其多尺度信息,同时提升主干网络的特征提取能力。在PASCAL VOC2007测试集上的实验结果表明,AFE-SSD算法的mAP为79.8%,检测速度为58.8 frame/s,与SSD、DSSD算法相比,mAP分别提升了2.4和1.2个百分点,验证了所提特征融合方式及多尺度提取模块的有效性。     

基于反卷积和特征融合的SSD小目标检测算法

由于小目标的低分辨率和噪声等影响,大多数目标检测算法不能有效利用特征图中小目标的边缘信息和语义信息,导致其特征与背景难以区分,检测效果差。为解决SSD(single shot multibox detector)模型中小目标特征信息不足的缺陷,提出反卷积和特征融合的方法。先采用反卷积作用于浅层特征层,增大特征图分辨率,然后将SSD模型中卷积层conv11_2的特征图上采样,拼接得到新的特征层,最后将新的特征层与SSD模型中固有的4个尺度的特征层进行融合。通过将改进后的方法与VOC2007数据集和KITTI车辆检测数据集上的SSD和DSSD方法进行比较,结果表明:该方法降低了小目标的漏检率,并提升整体目标的平均检测准确率。     

改进的R-SSD全景视频图像车辆检测算法

针对SSD算法在检测全景视频图像车辆目标时存在准确率低、漏检率高的问题,构建了一种改进的SSD网络,命名为R-SSD,并提出了一种基于R-SSD的全景视频图像中车辆目标检测算法。在原SSD网络之前增加了一个RPN*网络,目的在于过滤负样本先验框并粗略调整先验框的位置和大小,为后续回归提供好的初始条件。在原SSD和RPN*网络之间构建了传输转换模块,实现两个网络间的特征融合,并增加低层特征信息,从而提高目标的检测效果。在同时兼顾了RPN*网络和SSD*网络损失函数的基础上提出了新的损失函数,应用了二分类和多分类的方法,使回归操作更加精确。将采集的全景视频图像数据分为训练集和测试集,通过对比实验,表明提出的R-SSD算法检测精度可达90.78%,明显优于SSD算法,可较好地解决全景目标车辆检测中误检率较高、漏检率较高等问题。