多尺度特征图融合的目标检测

目的 自然场景图像中,特征提取的质量好坏是决定目标检测性能高低的关键因素。大多数检测算法都是利用卷积神经网络（CNN）强大的学习能力来获得目标的先验知识,并根据这些知识进行目标检测。卷积神经网络的低层次特征缺乏特征的代表性,而高层次的特征则对小尺度目标的监测能力弱。方法 利用原始SSD（single shot multiBox detector）网络提取特征图,通过1×1卷积层将提取的特征图统一为256维;通过反卷积操作增加自顶向下特征图的空间分辨率;通过对应元素相加的操作,将两个方向的特征图进行融合。将融合后的特征图采用3×3的卷积核进行卷积操作,减小特征图融合后的混叠效应。根据以上步骤构建具有较强语义信息的特征图,同时保留原有特征图的细节信息;对预测框进行聚合,利用非极大抑制（NMS）实现最终的检测效果。结果 在PASCAL VOC 2007和PASCAL VOC 2012数据集上进行实验测试,该模型的mAP（mean average precision）为78.9%和76.7%,相对于经典的SSD算法,分别提高了1.4%和0.9%;此外,本文方法在检测小尺度目标时相较于经典SSD模型mAP提升了8.3%。结论 提出了一种多尺度特征图融合的目标检测算法,以自顶向下的方式扩展了语义信息,构造了高强度语义特征图用于实现精确目标检测。     

增量角度域损失和多特征融合的地标识别

目的 地标识别是图像和视觉领域一个应用问题,针对地标识别中全局特征对视角变化敏感和局部特征对光线变化敏感等单一特征所存在的问题,提出一种基于增量角度域损失（additive angular margin loss,ArcFace损失）并对多种特征进行融合的弱监督地标识别模型。方法 使用图像检索取Top-1的方法来完成识别任务。首先证明了ArcFace损失参数选取的范围,并于模型训练时使用该范围作为参数选取的依据,接着使用一种有效融合局部特征与全局特征的方法来获取图像特征以用于检索。其中,模型训练过程分为两步,第1步是在谷歌地标数据集上使用ArcFace损失函数微调ImageNet预训练模型权重,第2步是增加注意力机制并训练注意力网络。推理过程分为3个部分：抽取全局特征、获取局部特征和特征融合。具体而言,对输入的查询图像,首先从微调卷积神经网络的特征嵌入层提取全局特征;然后在网络中间层使用注意力机制提取局部特征;最后将两种特征向量横向拼接并用图像检索的方法给出数据库中与当前查询图像最相似的结果。结果 实验结果表明,在巴黎、牛津建筑数据集上,特征融合方法可以使浅层网络达到深层预训练网络的效果,融合特征相比于全局特征（mean average precision,mAP）值提升约1%。实验还表明在神经网络嵌入特征上无需再加入特征白化过程。最后在城市级街景图像中本文模型也取得了较为满意的效果。结论 本模型使用ArcFace损失进行训练且使多种特征相似性结果进行有效互补,提升了模型在实际应用场景中的抗干扰能力。     

结合改进Deeplab v3+网络的水岸线检测算法

目的 水岸线既是水利行业视频监控分析的基础,也是无人水面艇实现自主航行的关键。现有的许多水岸线检测的图像识别方法,不仅无法克服水面波纹、水面倒影等因素的影响,而且不具有适应性,无法同时适用于多个水岸场景分析。为此,本文采用多个复杂的水岸场景图像,训练了用于水岸分割的Deeplab v3+网络,并综合考虑分割性能和计算速度,对Deeplab v3+进行简化与改进,提出了基于改进的Deeplab v3+分割水面图像提取水岸线的检测方法。方法 采集不同水岸场景图像作为训练及验证图集,并利用伽马函数扩充样本;接着修改Deeplab v3+网络,对xception结构进行微调,同时在decoder时多增加一路低级特征（low-level feature）,增加特征信息;然后依据图像信息设置损失权重系数,设置可视化参数,基于改进的Deeplab v3+网络针对自己的数据集进行训练。利用训练好的PB模型在Linux操作系统调用TensorFlow的C++接口对测试图像进行区域分割。最后基于提取出的水面区域通过边缘检测算子检测水岸线,将水岸线叠加到原图。结果 本文采集了不同光照强度、不同波纹程度以及不同阴影程度的水面图像进行水岸线检测实验,并与现有算法进行比较。实验结果表明本文算法可以在不同的水岸图像中检测出较为清晰完整的水岸线,准确率达93.98%,实时性达到8帧/s。结论 本文算法能克服水岸边缘严重不规则、不同水岸场景差异大和复杂水岸场景中光照、波纹、倒影等因素的干扰,提升水岸图像分割准确度及效率,检测出轮廓清晰完整的水岸线,服务于水利行业的智能监控分析。     

ProMIS:概率图采样图像增广驱动的弱监督物体检测方法

目的 弱监督物体检测是一种仅利用图像类别标签训练物体检测器的技术。近年来弱监督物体检测器的精度不断提高,但在如何提升检出物体的完整性、如何从多个同类物体中区分出单一个体的问题上仍面临极大挑战。围绕上述问题,提出了基于物体布局后验概率图进行多物体图像增广的弱监督物体检测方法ProMIS（probability-based multi-object image synthesis）。方法 将检出物体存储到物体候选池,并将候选池中的物体插入到输入图像中,构造带有伪边界框标注的增广图像,进而利用增广后的图像训练弱监督物体检测器。该方法包含图像增广与弱监督物体检测两个相互作用的模块。图像增广模块将候选池中的物体插入一幅输入图像,该过程通过后验概率的估计与采样对插入物体的类别、位置和尺度进行约束,以保证增广图像的合理性;弱监督物体检测模块利用增广后的多物体图像、对应的类别标签、物体伪边界框标签训练物体检测器,并将原始输入图像上检到的高置信度物体储存到物体候选池中。训练过程中,为了避免过拟合,本文在基线算法的基础上增加一个并行的检测分支,即基于增广边界框的检测分支,该分支利用增广得到的伪边界框标注进行训练,原有基线算法的检测分支仍使用图像标签进行训练。测试时,本文方法仅使用基于增广边界框的检测分支产生检测结果。本文提出的增广策略和检测器的分支结构在不同弱监督物体检测器上均适用。结果 在Pascal VOC（pattern analysis, statistical modeling and computational learning visual object classes）2007和Pascal VOC 2012数据集上,将该方法嵌入到多种现有的弱监督物体检测器中,平均精度均值（mean average precision,mAP）平均获得了2.9%和4.2%的提升。结论 本文证明了采用弱监督物体检测伪边界框标签生成的增广图像包含丰富信息,能够辅助弱监督检测器学习物体部件、整体以及多物体簇之间的区别。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

融入特征融合与特征增强的SSD目标检测

针对SSD算法在目标检测过程中对小目标检测的不足,提出了一种基于SSD算法的一阶段目标检测器——FIENet（feature integration and feature enhancement network）。在FIENet中设计了两个模块,一是特征融合模块,该模块对SSD浅层的特征映射信息进行融合以提高小目标检测能力;二是特征增强模块,该模块采用了残差网络（Res2Net）以及注意力机制（attention）,对特征融合后的模块以及SSD中的深层特征映射进行增强。为了更好地检测小目标,还调整了浅层特征映射先验框的数量。为了评价FIENet的有效性,在PASCAL VOC2007以及MSCOCO数据集上进行了实验。实验结果表明,在PASCAL VOC2007数据集上检测精度（mAP）较SSD提高3.1个百分点,对小目标bird、bottle、chair、plant检测精度分别提升了3.6、9.5、5.4、5.5个百分点。在COCO数据集上达到29.4%的检测精度（mAP）。实验结果证明FIENet网络在保持实时性的同时可以达到较高的检测精度。     

双向特征融合的数据自适应SAR图像舰船目标检测模型

目的 利用合成孔径雷达（synthetic aperture radar,SAR）图像进行舰船目标检测是实施海洋监视的重要手段。基于深度学习的目标检测模型在自然图像目标检测任务中取得了巨大成功,但由于自然图像与SAR图像的差异,不能将其直接迁移到SAR图像目标检测中。针对SAR图像目标检测实际应用中对速度和精度的需求,借鉴经典的单阶段目标检测模型（single shot detector,SSD）框架,提出一种基于特征优化的轻量化SAR图像舰船目标检测网络。方法 改进模型并精简网络结构,提出一种数据驱动的目标分布聚类算法,学习SAR数据集的目标尺度、长宽比分布特性,用于网络参数设定;对卷积神经网络（convolutional neural network,CNN）提取的特征进行优化,提出一种双向高低层特征融合机制,将高层特征的语义信息通过语义聚合模块加成到低层特征中,在低层特征中提取特征平均图,处理后作为高层特征的注意力权重图对高层特征进行逐像素加权,将低层特征丰富的空间信息融入到高层特征中。结果 利用公开的SAR舰船目标检测数据集（SAR ship detection dataset,SSDD）进行实验,与原始的SSD模型相比,轻量化结构设计在不损失检测精度的前提下,样本测试时间仅为SSD的65%;双向特征融合机制将平均精确度（average precision,AP）值由77.93%提升至80.13%,训练和测试时间分别为SSD的64.1%和72.6%;与公开的基于深度学习的SAR舰船目标检测方法相比,本文方法在速度和精度上都取得了最佳性能,AP值较精度次优模型提升了1.23%,训练和测试时间较精度次优模型分别提升了559.34 ms和175.35 ms。结论 实验充分验证了本文所提模型的有效性,本文模型兼具检测速度与精度优势,具有很强的实用性。     

由粗到精的多尺度散焦模糊检测

目的 散焦模糊检测致力于区分图像中的清晰与模糊像素，广泛应用于诸多领域，是计算机视觉中的重要研究方向。待检测图像含复杂场景时，现有的散焦模糊检测方法存在精度不够高、检测结果边界不完整等问题。本文提出一种由粗到精的多尺度散焦模糊检测网络，通过融合不同尺度下图像的多层卷积特征提高散焦模糊的检测精度。方法 将图像缩放至不同尺度，使用卷积神经网络从每个尺度下的图像中提取多层卷积特征，并使用卷积层融合不同尺度图像对应层的特征；使用卷积长短时记忆（convolutional long-short term memory，Conv-LSTM）层自顶向下地整合不同尺度的模糊特征，同时生成对应尺度的模糊检测图，以这种方式将深层的语义信息逐步传递至浅层网络；在此过程中，将深浅层特征联合，利用浅层特征细化深一层的模糊检测结果；使用卷积层将多尺度检测结果融合得到最终结果。本文在网络训练过程中使用了多层监督策略确保每个Conv-LSTM层都能达到最优。结果 在DUT （Dalian University of Technology）和CUHK （The Chinese University of Hong Kong）两个公共的模糊检测数据集上进行训练和测试，对比了包括当前最好的模糊检测算法BTBCRL （bottom-top-bottom network with cascaded defocus blur detection map residual learning），DeFusionNet （defocus blur detection network via recurrently fusing and refining multi-scale deep features）和DHDE （multi-scale deep and hand-crafted features for defocus estimation）等10种算法。实验结果表明：在DUT数据集上，本文模型相比于DeFusionNet模型，MAE （mean absolute error）值降低了38.8%，F_0.3值提高了5.4%；在CUHK数据集上，相比于LBP （local binary pattern）算法，MAE值降低了36.7%，F_0.3值提高了9.7%。通过实验对比，充分验证了本文提出的散焦模糊检测模型的有效性。结论 本文提出的由粗到精的多尺度散焦模糊检测方法，通过融合不同尺度图像的特征，以及使用卷积长短时记忆层自顶向下地整合深层的语义信息和浅层的细节信息，使得模型在不同的图像场景中能得到更加准确的散焦模糊检测结果。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

融合特征增强和自注意力的SSD小目标检测算法

SSD是一种多尺度目标检测算法,由于浅层特征图缺乏语义信息,导致小目标的检测准确率低.针对这个问题,提出一种融合特征增强和自注意力的SSD小目标检测算法FA-SSD.该算法在SSD基础上构建一条自深向浅的递归反向路径,此路径包含三个模块:深层特征增强模块利用路径深层多尺度特征图生成的上下文信息和最深层特征图的语义信息,...     

基于空洞卷积与特征增强的单阶段目标检测算法

基于卷积神经网络目标检测算法的浅层特征图包含丰富的细节信息,但缺乏语义信息,而深层特征图则相反。为充分利用浅层和深层特征图特征,解决多尺度目标检测问题,提出一种新的单阶段目标检测算法（AFE-SSD）。以SSD算法为基础,分别对该算法中相邻的2个特征图进行特征融合,从而丰富浅层特征层的语义信息。通过对并行空洞卷积机制进行改进,构建多尺度特征提取模块,将融合后的特征图通入多尺度特征提取模块的方式丰富其多尺度信息,同时提升主干网络的特征提取能力。在PASCAL VOC2007测试集上的实验结果表明,AFE-SSD算法的mAP为79.8%,检测速度为58.8 frame/s,与SSD、DSSD算法相比,mAP分别提升了2.4和1.2个百分点,验证了所提特征融合方式及多尺度提取模块的有效性。     

基于PDSSD改进型神经网络的小目标检测算法

SSD卷积神经网络一直对较小目标检测精度不佳。对此在SSD网络结构的基础上引入空洞卷积(Dilated Convolution),并组建空洞金字塔模块(Pyramid Dilated Convolution)和特征空洞金字塔模块(Feature Pyramid Dilated Convolution)融入SSD中,提升了网络浅层特征层的语义信息,提高了深层特征层的感受野和特征提取能力,构建了新型网络结构Pyramid Dilated SSD(PDSSD)。实验结果表明,PDSSD在PASCAL-VOC数据集上的检测mAP(Mean Average Precision)值高达82.1%,检测精度和小目标检测能力明显高于SSD,并且网络训练速度和mAP值领先于其他主流算法。     

注意力机制改进轻量SSD模型的海面小目标检测

目的 海面目标检测图像中的小目标数量居多,而基于深度学习的目标检测方法通常针对通用目标数据集设计检测模型,对图像中的小目标检测效果并不理想。使用一般目标检测模型检测海面目标图像的特征时,通常会出现小目标漏检情况,而一些特定的小目标检测模型对海面目标的检测效果还有待验证。为此,在标准的SSD(single shot multiBox detector)目标检测模型基础上,结合Xception深度可分卷积,提出一种轻量SSD模型用于海面目标检测。方法 在标准的SSD目标检测模型基础上,使用基于Xception网络的深度可分卷积特征提取网络替换VGG-16(Visual Geometry Group network-16)骨干网络,通过控制变量来对比不同网络的检测效果;在特征提取网络中的exit flow层和Conv1层引入轻量级注意力机制模块来提高检测精度,并与在其他层引入轻量级注意力机制模块的模型进行检测效果对比;使用注意力机制改进的轻量SSD目标检测模型和其他几种模型分别对海面目标检测数据集中的小目标和正常目标进行测试。结果 为证明本文模型的有效性,进行了多组对比实验。实验结果表明,模型轻量化导致特征表达能力降低,从而影响检测精度。相对于标准的SSD目标检测模型,本文模型在参数量降低16.26%、浮点运算量降低15.65%的情况下,浮标的平均检测精度提高了1.1%,漏检率减小了3%,平均精度均值(mean average precision,mAP)提高了0.51%,同时,保证了船的平均检测精度,并保证其漏检率不升高,在对数据集中的小目标进行测试时,本文模型也表现出较好的检测效果。结论 本文提出的海面小目标检测模型,能够在压缩模型的同时,保证模型的检测速度和检测精度,达到网络轻量化的效果,并且降低了小目标的漏检率,可以有效实现对海面小目标的检测。     

检测器和分类器级联的飞机发动机损伤检测

目的 基于深度学习的飞机发动机损伤检测是计算机视觉中的一个新问题。当前的目标检测方法没有考虑飞机发动机损伤检测问题的特殊性,将其直接用于发动机损伤检测的效果较差,无法满足实际使用的要求。为了提高损伤检测的精度,提出检测器和分类器级联的发动机损伤检测方法：Cascade-YOLO （cascade-you only look once）。方法 首先,将损伤区域作为正例、正常区域作为负例,训练损伤检测网络,初始化特征提取网络的网络参数;其次,固定特征提取网络,使用多个检测头分别检测不同类型的发动机损伤,每个检测头独立进行检测,从而提高单类别损伤的检测召回率;最后,对于置信度在一定范围内的损伤,训练一个多分类判别器,用于校正检测头输出的损伤类别。基于检测结果,利用语义分割分支可以准确分割出损伤区域。结果 构建了一个具有1 305幅且包含9种损伤类型的孔探图像数据集,并在该数据集上量化、对比了6个先进的目标检测方法。本文方法的平均精确率（mean average precision,MAP）、准确率、召回率相比单阶段检测器YOLO v5分别提高了2.49%、12.59%和12.46%。结论 本文提出的检测器和分类器级联的发动机损伤检测模型通过对每类缺陷针对性地训练单独的检测头,充分考虑了不同缺陷间的分布差异,在提高召回率的同时提升了检测精度。同时该模型易于扩展类别,并可以快速应用于分割任务,符合实际的应用需求。     

融合环境特征与改进YOLOv4的安全帽佩戴检测

目的 在施工现场，安全帽是最为常见和实用的个人防护用具，能够有效防止和减轻意外带来的头部伤害。但在施工现场的安全帽佩戴检测任务中，经常出现难以检测到小目标，或因为复杂多变的环境因素导致检测准确率降低等情况。针对这些问题，提出一种融合环境特征与改进YOLOv4（you only look once version 4）的安全帽佩戴检测方法。方法 为补充卷积池化等过程中丢失的特征，在保证YOLOv4得到的3种不同大小的输出特征图与原图经过特征提取得到的特征图感受野一致的情况下，将两者相加，融合高低层特征，捕捉更多细节信息；对融合后的特征图采用3×3卷积操作，以减小特征图融合后的混叠效应，保证特征稳定性；为适应施工现场的各种环境，利用多种数据增强方式进行环境模拟，并采用对抗训练方法增强模型的泛化能力和鲁棒性。结果 提出的改进YOLOv4方法在开源安全帽佩戴检测数据集（safety helmet wearing dataset，SHWD）上进行测试，平均精度均值（mean average precision，mAP）达到91.55%，较当前流行的几种目标检测算法性能有所提升，其中相比于YOLOv4，mAP提高了5.2%。此外，改进YOLOv4方法在融合环境特征进行数据增强后，mAP提高了4.27%，在各种真实环境条件下进行测试时都有较稳定的表现。结论 提出的融合环境特征与改进YOLOv4的安全帽佩戴检测方法，以改进模型和数据增强的方式提升模型准确率、泛化能力和鲁棒性，为安全帽佩戴检测提供了有效保障。     

基于改进卷积注意力模块与残差结构的SSD网络

SSD(Single Shot Multibox Detector)是一种基于卷积神经网络的单阶检测算法,相比双阶检测算法,它在保证一定精度的同时显著提高了检测速度,但仍难以满足很多实际应用,尤其是在小目标检测任务中,检测精度更是难以满足需求.针对该不足,文中提出了一种基于改进残差结构与卷积注意力模块的特征提取网络Re...     

基于特征融合的SSD视觉小目标检测

针对SSD算法在检测目标过程中对小目标检测效果差的缺陷,提出了特征融合的SSD方法。该方法充分融合深浅层特征信息以提升网络模型对小目标的检测能力,为更好地检测小目标,将先验框尺寸相对原图比列进行调整,同时对SSD模型相应超参数值进行调整。实验结果表明,检测精度mAP较SSD提高3.4个百分点,对小目标Bottle、Chair、Plant检测精度分别提升8.7个百分点、3.4个百分点和7.1个百分点。检测精度mAP较当前一系列性能优异的目标检测算法有显著提高。通过拓展实验进一步证明改进算法成功检测到了大多数SSD算法没有检测到的小目标,提高了平均检测准确率。