深度卷积神经网络在目标检测中的研究进展

深度卷积神经网络以多层次的特征学习与丰富的特征表达能力,在目标检测领域取得了突破进展。概括了卷积神经网络在目标检测领域的研究进展,首先回顾传统目标检测的发展及存在的问题,引出卷积神经网络的目标检测基本原理和基本训练方法;然后分析了以R-CNN为代表的基于区域建议的目标检测框架,介绍以YOLO算法为代表的将目标检测归结为回归问题的目标检测框架;最后,对目前目标检测的一些问题进行简要总结,对未来深度卷积神经网络在目标检测的发展进行了展望。     

多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

全卷积语义分割与物体检测网络

目的 目前主流物体检测算法需要预先划定默认框,通过对默认框的筛选剔除得到物体框。为了保证足够的召回率,就必须要预设足够密集和多尺度的默认框,这就导致了图像中各个区域被重复检测,造成了极大的计算浪费。提出一种不需要划定默认框,实现完全端到端深度学习语义分割及物体检测的多任务深度学习模型（FCDN）,使得检测模型能够在保证精度的同时提高检测速度。方法 首先分析了被检测物体数量不可预知是目前主流物体检测算法需要预先划定默认框的原因,由于目前深度学习物体检测算法都是由图像分类模型拓展而来,被检测数量的无法预知导致无法设置检测模型的输出,为了保证召回率,必须要对足够密集和多尺度的默认框进行分类识别;物体检测任务需要物体的类别信息以实现对不同类物体的识别,也需要物体的边界信息以实现对各个物体的区分、定位;语义分割提取了丰富的物体类别信息,可以根据语义分割图识别物体的种类,同时采用语义分割的思想,设计模块提取图像中物体的边界关键点,结合语义分割图和边界关键点分布图,从而完成物体的识别和定位。结果 为了验证基于语义分割思想的物体检测方法的可行性,训练模型并在VOC（visual object classes）2007 test数据集上进行测试,与目前主流物体检测算法进行性能对比,结果表明,利用新模型可以同时实现语义分割和物体检测任务,在训练样本相同的条件下训练后,其物体检测精度优于经典的物体检测模型;在算法的运行速度上,相比于FCN,减少了8 ms,比较接近于YOLO（you only look once）等快速检测算法。结论 本文提出了一种新的物体检测思路,不再以图像分类为检测基础,不需要对预设的密集且多尺度的默认框进行分类识别;实验结果表明充分利用语义分割提取的丰富信息,根据语义分割图和边界关键点完成物体检测的方法是可行的,该方法避免了对图像的重复检测和计算浪费;同时通过减少语义分割预测的像素点数量来提高检测效率,并通过实验验证简化后的语义分割结果仍足够进行物体检测任务。     

基于深度卷积神经网络的小目标检测算法

针对YOLO目标检测算法在小目标检测方面存在的不足,以及难以在嵌入式平台上达到实时性的问题,设计出了一种基于YOLO算法改进的dense_YOLO目标检测算法。该算法共分为2个阶段:特征提取阶段和目标检测回归阶段。在特征提取阶段,借鉴DenseNet结构的思想,设计了新的基于深度可分离卷积的slim-densenet特征提取模块,增强了小目标的特征传递,减少了参数量,加快了网络的传播速度。在目标检测阶段,提出自适应多尺度融合检测的思想,将提取到的特征进行融合,在不同的特征尺度上进行目标的分类和回归,提高了对小目标的检测准确率。实验结果表明:在嵌入式平台上,针对小目标,本文提出的dense_YOLO目标检测算法相较原YOLO算法mAP指标提高了7%,单幅图像检测时间缩短了15 ms,网络模型大小减少了90 MB,明显优于原算法。     

基于卷积神经网络的目标检测研究综述

随着训练数据的增加以及机器性能的提高,基于卷积神经网络的目标检测冲破了传统目标检测的瓶颈,成为当前目标检测的主流算法。因此,研究如何有效地利用卷积神经网络进行目标检测具有重要的价值。首先回顾了卷积神经网络如何解决传统目标检测中存在的问题;其次介绍了卷积神经网络的基本结构,叙述了当前卷积神经网络的研究进展以及常用的卷积神经网络;然后重点分析和讨论了两种应用卷积神经网络进行目标检测的思路和方法,指出了目前存在的不足;最后总结了基于卷积神经网络的目标检测,以及未来的发展方向。     

基于多任务深度卷积神经网络的显著性对象检测算法

针对当前基于深度学习的显著性对象检测算法不能准确保存对象边缘的区域,从而导致检测出的显著性对象边缘区域模糊、准确率不高的问题,提出了一种基于多任务深度学习模型的显著性对象检测算法。首先,基于深度卷积神经网络（CNN）,训练一个多任务模型分别学习显著性对象的区域和边缘的特征;然后,利用检测到的边缘生成大量候选区域,再结合显著性区域检测的结果对候选区域进行排序和计算权值;最后提取出完整的显著性图。在三个常用标准数据集上的实验结果表明,所提方法获得了更高的准确率,其中F-measure比基于深度学习的算法平均提高了1.9%,而平均绝对误差（MAE）平均降低了12.6%。     

Multi-class object detection system using hybrid convolutional neural network architecture

Multimedia Tools and Applications - Object detection in computer vision has been a significant research area for the past decade. Identifying objects with multiple classes from an image has...     

改进的卷积神经网络行人检测方法

提出基于YOLOV3和DenseNet相结合的轻量化行人检测算法。加入HSV图像处理模块强化行人特征,利用卷积神经网络提取行人特征,通过k均值聚类算法筛选预测框,借鉴特征金字塔的思想做高低层特征融合和预测,利用Dense Block结构对网络轻量化进行完善,在国际广泛使用的行人数据集上进行一系列实验。实验结果表明,检测速度比现有的优秀目标检测模型YOLOV3提升了8倍,模型大小为YOLOV3的1/107,所提方法在测试集上的实时性和准确率都有所提高。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

改进的卷积神经网络行人检测方法

为了在行人检测任务中使卷积神经网络（CNN）选择出更优模型并获得定位更准确的检测框,提出一种改进的基于卷积神经网络的行人检测方法。改进主要涉及两个方面：如何决定CNN样本迭代学习次数和如何进行重合窗口的合并。首先,关于CNN样本迭代次序问题,在顺序迭代训练多个CNN分类模型的基础上,提出一种基于校验集正确率及其在迭代系列分类器中展现出的稳定性进行更优模型选择的策略,以使最终选择的分类器推广能力更优。其次,提出了一种不同于非极大值抑制（NMS）的多个精确定位回归框合并机制。精确定位回归框的获取以CNN检测过程输出的粗定位框作为输入。然后,对每个粗定位框应用CNN精确定位过程并获得对应的精确定位回归框。最后,对多个精确定位回归框进行合并,合并过程考虑了每个精确定位回归框的正确概率。更精确地说,最终的合并窗口是基于多个相关的精确定位回归框的概率加权求和方式获得。针对提出的两个改进,在国际上广泛使用的行人检测公共测试数据集ETH上进行了一系列实验。实验结果表明,所提的两个改进方法均能有效地提高系统的检测性能,在相同的测试条件下,融合两个改进的方法相比Fast R-CNN算法检测性能提升了5.06个百分点。     

跨深度的卷积特征增强目标检测算法

针对当前基于深度学习的目标检测算法采取的特征图融合方式存在缺陷,算法普遍不能很好地应对尺度变化等问题,提出一种跨深度卷积特征增强的目标检测算法CDC-YOLO。对YOLOv3算法进行改进,针对多尺度预测层各自的特点采用与之适应的特征增强模块,采用多通道的跨深度的卷积核并结合空洞卷积并行地提取特征,最终级联起来。该模块能充分利用多尺度多深度特征,形成统一的多尺度特征表达。在VOC2007test上的实验结果表明,提出算法的mAP (均值平均精度)高达82.33%,比原始YOLOv3提升了约2%,且对尺度变化大的物体鲁棒性更强。     

多阶段优化的小目标聚焦检测

目标检测是深度学习领域重要的基础问题之一,目前已经有相当多且较为成熟的研究。无人冰柜是人工智能在零售产业的一个应用场景。其通过冰柜内设置的摄像头捕捉图像,利用目标检测方法检测出顾客手中抓取的商品,然后进行后续的商品分类等任务的工作。而由于场景及硬件的限制,无人冰柜中只能使用速度快但精度较低的深度模型,而这些模型往往在小目标的检测上精度相对更低。针对无人冰柜场景数据的背景单一、目标范围小等特殊性,改进了主流的目标检测方法,提出了一种基于聚焦的由粗到精的2 阶段检测网络结构FocusNet,提升了该场景下的小目标检测效果。该方法相比先前的模型在小目标检测上的平均准确率提升了8.3%,总体检测平均准确率提升了3.5%。     

一阶全卷积遥感影像倾斜目标检测

目的 主流深度学习的目标检测技术对自然影像的识别精度依赖于锚框设置的好坏,并使用平行于坐标轴的正框表示物体位置,而遥感影像中地物目标具有尺寸多变、分布密集、长宽比悬殊且朝向不定的特点,更宜通过与物体朝向一致的斜框表示其位置。本文试图结合无锚框和斜框检测技术,在遥感影像上实现高精度目标识别。方法 使用斜框标注能够更为紧密地贴合目标边缘,有效减少识别干扰因素。本文基于单阶段无锚框目标检测算法：一阶全卷积目标检测网络(fully convolutional one-stage object detector, FCOS),通过引入滑动点结构,在遥感影像上实现高效率、高精度的斜框目标检测。与FCOS的不同之处在于,本文改进的检测算法增加了用于斜框检测的两个分支,通过在正框的两邻边上回归滑动顶点比率产生斜框,并预测斜框与正框的面积比以减少极端情况下的检测误差。结果 在当前最大、最复杂的斜框遥感目标检测数据集DOTA(object detection in aerial images)上对本文方法进行评测,使用ResNet50作为骨干网络,平均精确率(mean average precision,...     

基于深度卷积神经网络的行人检测

行人检测一直是目标检测研究与应用中的热点。目前行人检测主要通过设计有效的特征提取方法建立对行人特征的描述,然后利用分类器实现二分类。卷积神经网络作为深度学习的重要组成,在图像、语音等领域得到了成功应用。针对人工设计的特征提取方法难以有效表达复杂环境下行人特征的问题,提出采用多层网络构建深度卷积神经网络实现对行人检测的方法。系统分析了卷积神经网络层数、卷积核大小、特征维数等对识别效果的影响,优化了网络参数。实验结果表明该方法对于行人检测具有很高的识别率,优于传统方法。     

A novel deep convolutional neural network-bootstrap integrated method for RUL prediction of rolling bearing

In this study, a novel deep convolutional neural network-bootstrap-based integrated prognostic approach for the remaining useful life (RUL) prediction of rolling bearing is developed. The proposed architecture includes two main parts: 1) a deep convolutional neural network–multilayer perceptron (i.e., DCNN–MLP) dual network is utilized to simultaneously extract informative representations hidden in both time series-based and image-based features and to predict the RUL of bearings, and 2) the proposed dual network is embedded into the bootstrap-based implementation framework to quantify the RUL prediction interval. Unlike other deep-learning-based prognostic approaches, the proposed DCNN-bootstrap integrated method has two innovative features: 1) both 1D time series-based and 2D image-based features of bearings, which can multi-dimensionally characterize the degradation of bearings, are comprehensively leveraged by the proposed dual network, and 2) the RUL prediction interval can be effectively quantified without relying on the bearing’s physical or statistical prior information based on bootstrap implementation paradigm. The proposed approach is experimentally validated with two case studies on rolling element bearings, and comparisons with other state-of-the-art techniques are also presented. Subsequently, our code will be open sourced.     

Estimation of distortion sensitivity for visual quality prediction using a convolutional neural network

The PSNR and MSE are the computationally simplest and thus most widely used measures for image quality, although they correlate only poorly with perceived visual quality. More accurate quality models that rely on processing on both the reference and distorted image are potentially difficult to integrate in time-critical communication systems where computational complexity is disadvantageous. This paper derives the concept of distortion sensitivity as a property of the reference image that compensates for a given computational quality model a potential lack of perceptual relevance. This compensation method is applied to the PSNR and leads to a local weighting scheme for the MSE. Local weights are estimated by a deep convolutional neural network and used to improve the PSNR in a computationally graceful distribution of computationally complex processing to the reference image only. The performance of the proposed estimation approach is evaluated on LIVE, TID2013 and CSIQ databases and shows comparable or superior performance compared to benchmark image quality measures.     

基于迷你卷积神经网络的停车场空车位检测方法

针对日益严峻的停车难问题,提出一种基于改进卷积神经网络停车场空车位检测方法。首先,根据车位只需用两种状态来表示其占空的特点,对传统卷积神经网络结构进行改进,提出迷你卷积神经网络（MCNN）的概念;然后,通过减少网络参数来减少训练和识别时间,并在网络中加入局部响应归一化层以加强对明度的校正,以及使用小卷积核来获取更多图像细节;最后,对视频帧图进行手动掩码设置,通过边缘检测切割成单个车位图,并使用训练好的MCNN进行车位识别。实验结果表明,与传统机器学习方式相比,基于MCNN的检测方法识别率能提高3~8个百分点,同时网络参数仅为常规使用卷积模型的1/1 000,且在文中所述的几种不同环境中,识别率的均保持在92%以上。实验结果表明,MCNN可移植到低配置摄像头,实现停车场空车位自动检测。     

无锚点的遥感图像任意角度密集目标检测方法

针对基于深度学习的遥感图像目标检测方法密集目标漏检率高、分类不准确的问题,建立了一种基于深度学习的无锚点的遥感图像任意角度的密集目标检测方法。首先采用CenterNet作为基线模型,经过主干网络提取特征,并改造原有检测器结构,即加入角度回归分支进行目标角度回归;然后提出一种基于非对称卷积的特征增强模块,并将主干网络提取到的特征图输入特征增强模块,从而增强目标的旋转不变性特征,消除由于目标的旋转、翻转带来的影响,进一步提升目标中心点、尺寸信息的回归精度。采用HourGlass-101作为主干网络时,该方法在DOTA数据集上的平均精度均值（mAP）比旋转区域候选网络（RRPN）提升了7.80个百分点,每秒处理帧数（FPS）提升了7.5;在自建数据集Ship3上,该方法的mAP比RRPN提升了8.68个百分点,FPS提升了6.5。结果表明,所提方法能获得检测精度和速度的平衡。