结合Faster R-CNN的多类型火焰检测

目的 火焰检测可有效防止火灾的发生。针对目前火焰检测方法,传统图像处理技术的抗干扰能力差、泛化性不强,检测效果对数据波动比较敏感;机器学习方法需要根据不同的场景设定并提取合适火焰的特征,过程比较繁琐。为此提出一种基于Faster R-CNN的多类型火焰检测方法,避免复杂的人工特征提取工作,在面对复杂背景、光照强度变化和形态多样的火焰图像时依然保证较好的检测精度。方法 基于深度学习的思想,利用卷积神经网络自动学习获取图像特征。首先,利用自建数据集构建视觉任务。根据火焰的尖角特性、直观形态和烟雾量等,将火焰类数据划分为单尖角火焰、多尖角火焰和无规则火焰3类。此外,通过深度网络特征可视化实验发现,人造光源与火焰在轮廓上具有一定的相似性,为此建立了人造光源圆形和方形两个数据集作为干扰项来保证检测模型的稳定性;然后,细化训练参数并调整预训练的卷积神经网络结构,改动分类层以满足特定视觉任务。将经过深度卷积神经网络中卷积层和池化层抽象得到的图像特征送入区域生成网络进行回归计算,利用迁移学习的策略得到每一类目标物体相应的探测器;最后,得到与视觉任务相关的目标检测模型,保存权重和偏置参数。并联各类目标物体的子探测器作为整体探测器使用,检测时输出各类探测器的分数,得分最高的视为正确检测项。结果 首先,利用训练好的各探测器与相应测试集样本进行测试,然后,再利用各类目标物的测试集来测试其他类探测器的检测效果,以此证明各探测器之间的互异性。实验结果表明,各类探测器都具有较高的专一性,大大降低了误判的可能性,对于形变剧烈和复杂背景的火焰图像也具有良好的检测准确率。训练得到的检测模型在应对小目标、多目标、形态多样、复杂背景和光照变化等检测难度较大的情况时,均能获得很好的效果,测试集结果表明各类探测器的平均准确率提高了3.03% 8.78%不等。结论 本文提出的火焰检测方法,通过挖掘火焰的直观形态特征,细分火焰类别,再利用深度卷积神经网络代替手动特征设置和提取过程,结合自建数据集和根据视觉任务修改的网络模型训练得到了检测效果良好的多类型火焰检测模型。利用深度学习的思想,避免了繁琐的人工特征提取工作,在得到较好的检测效果的同时,也保证了模型具有较强的抗干扰能力。本文为解决火焰检测问题提供了更加泛化和简洁的解决思路。     

基于Faster R-CNN的肺炎目标检测

针对肺炎图像中病灶组织与正常组织难以区分,导致的肺炎检测准确率低的问题,提出一种基于改进Faster R-CNN的肺炎目标检测算法。通过CRP-CLAHELS的流程在增强图像对比度的同时提取图像的边缘特征,提出IN-ResNet50网络作为特征提取主干网络,提取更丰富的图像特征。在此基础上,引入Soft-NMS改进候选框合并策略,提高网络在多个目标肺炎区域下的检测准确率。在RSNA数据集上的实验结果表明,该算法相比Faster R-CNN平均精度均值提高7.26%,与其它目标检测主流算法SSD、YOLOv3相比平均精度均值分别提高8.83%、7.02%,验证了其有效性。     

基于Faster R-CNN的零件表面缺陷检测算法

针对人工和传统自动化算法检测发动机零件表面缺陷中准确率和效率低下,无法满足智能制造需求问题,提出了一种基于深度学习的检测算法.以Faster R-CNN深度学习算法为算法框架,引入聚类理论来确定anchor方案,通过对比k-meansII和CURE聚类算法生成anchor对检测结果的影响,提出了基于聚类生成anchor方案的Faster R-CNN的零件表面缺陷检测算法,并引入多级ROI池化层结构,减少ROI池化过程中取整带来的偏差,实现高效并准确检测零件表面缺陷的目的.通过设计缺陷图像数据采集方案,建立了3种缺陷零件数据集,并验证了算法的性能.实验结果表明,该算法将缺陷检测的均值平均精度mAP从原算法的54.7%提高到97.9%,检测速度最快达到4.9 fps,能够满足智能制造的生产需求.     

基于SSD的车辆目标检测

传统的车辆目标检测算法需要为不同的图像场景选择合适的特征，导致泛化能力差。针对此问题，本文提出一种基于SSD（Single Shot MultiBox Detector）的图像车辆检测方法。该方法通过对多个尺度的卷积特征图进行预测来检测车辆，在一定程度上提升车辆的检测精度；找出原SSD方法在训练过程中的小缺陷，通过改进损失函数来优化训练速度。最后结合KITTI数据集进行训练。实验结果表明，该方法对车辆的检测具有较高的识别率，且比传统算法的效果更好。     

基于Faster R-CNN的人体行为检测研究

由于人体行为类内差异大,类间相似性大,而且还存在视觉角度与遮挡等问题,使用人工提取特征的方法特征提取难度大并且难以提取有效特征,使得人体行为检测率较低。针对这个问题,本文在物体检测的基础上使用检测效果较好的Faster R-CNN算法来进行人体行为检测,并对Faster R-CNN算法与批量规范化算法和在线难例挖掘算法进行结合,有效利用了深度学习算法实现人体行为检测。对此改进算法进行实验验证,验证的分类和位置精度达到了80%以上,实验结果表明,改进的算法具有识别精度高的特点。     

面向多尺度目标检测的改进Faster R-CNN算法

由于多尺度目标检测中图像目标尺度差异性大,基于单层次特征提取的目标检测算法或者导致小目标特征提取丢失、扭曲,或者导致大目标特征提取冗余度过高,检测效果不理想.为此,基于Faster R-CNN思想,提出一种多尺度目标检测算法.首先采用多层次提取特征策略提取多尺度目标特征;然后统计目标真实框大小与纵横比,设置锚点规格;最后采用多通道方法生成多尺度目标候选框.基于PASCAL VOC数据集的实验结果表明,该算法总体漏检率为9.7%,平均精度的均值为75.2%,检测性能较当前主流的多尺度目标检测算法有一定的提高.     

基于深度学习的目标检测框架进展研究

在R-CNN框架提出后，基于深度学习的目标检测框架逐渐成为主流，可分为基于候选窗口和基于回归两类。近两年来，在Faster R-CNN、YOLO、SSD等经典的基于深度学习目标检测框架的基础上，出现了大量的优秀框架。根据优化方法对近几年提出的框架进行了梳理和总结。在PASCAL_VOC和MS COCO等主流测试集上对目标检测方法的性能及优缺点进行了对比分析。讨论了目标检测领域当前面临的困难与挑战，对可能的发展方向进行了展望。     

基于深度学习的目标检测算法综述

深度学习目前已广泛应用到各个领域,目标检测是计算机视觉领域中的基础问题。针对传统目标检测算法存在的效率低、鲁棒性差等问题,基于深度学习的目标检测算法很好地提高了目标检测效率,成为主流趋势。论文对一些典型的基于深度学习的目标检测算法进行了综述,主要分为基于区域思想和基于回归思想两方面,对算法结构进行了分析和对比,最后对基于深度学习的目标检测算法的发展进行了展望。     

目标检测算法

目标检测是计算机视觉任务的一个重要组成部分,也是人工智能的一个重要应用,其目的是在自然图像中的大量预定义类别中定位对象实例。同时目标识别也有着广泛的应用场景,可以应用到自动驾驶技术中以及各种侦察车上。系统性介绍了主要的目标识别方法,之后主要介绍两种基于深度卷积神经网络的目标识别方法,并分别说明了它们的应用场景,同时通过具体的实验数据对比了骨干网络的优缺点。与传统的基于特征的目标检测方法相比,基于深度学习的目标检测方法可以同时学习图像的低级特征和高级特征。最后展望了目标检测方法的发展前景。     

基于卷积神经网络的车辆分类与检测技术研究

车辆分类与检测在智能交通系统、道路交通规划、安全预警、无人驾驶等领域发挥着越来越重要的作用。随着图形处理器(Graphics Processing Unit,GPU)运算能力的增强以及数据量的剧增,以卷积神经网络为主的深度学习成为研究热点。基于LeNet、AlexNet、VGG、GoogLet、ResNet等卷积神经网络,介绍并分析了6种车辆分类方法、8种车辆检测方法及4个用于评估这些方法的数据集,并对车辆分类及检测的研究方向进行了展望。     

基于改进Faster R-CNN的轮胎缺陷检测方法

轮胎生产过程中出现的胎侧异物、胎冠异物、气泡、胎冠开根以及胎侧开根等缺陷会影响轮胎出厂后的使用,所以出厂使用前需要对每条轮胎进行无损检测.为了实现在工业中对于轮胎缺陷进行自动检测,提出了一种基于改进Faster R-CNN的轮胎缺陷自动检测方法.首先,在预处理阶段,用直方图均衡化方法对轮胎图象的灰度进行拉伸,提高数据集...     

Weakly- and Semi-Supervised Fast Region-Based CNN for Object Detection

Learning an effective object detector with little supervision is an essential but challenging problem in computer vision applications. In this paper, we consider the problem of learning a deep convolutional neural network (CNN) based object detector using weakly-supervised and semi-supervised information in the framework of fast region-based CNN (Fast R-CNN). The target is to obtain an object detector as accurate as the fully-supervised Fast R-CNN, but it requires less image annotation effort. To solve this problem, we use weakly-supervised training images (i.e., only the image-level annotation is given) and a few proportions of fully-supervised training images (i.e., the bounding box level annotation is given), that is a weakly- and semi-supervised (WASS) object detection setting. The proposed solution is termed as WASS R-CNN, in which there are two main components. At first, a weakly-supervised R-CNN is firstly trained; after that semi-supervised data are used for finetuning the weakly-supervised detector. We perform object detection experiments on the PASCAL VOC 2007 dataset. The proposed WASS R-CNN achieves more than 85% of a fully-supervised Fast R-CNN’s performance (measured using mean average precision) with only 10% of fully-supervised annotations together with weak supervision for all training images. The results show that the proposed learning framework can significantly reduce the labeling efforts for obtaining reliable object detectors.

     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

基于卷积神经网络的目标检测研究综述

随着训练数据的增加以及机器性能的提高,基于卷积神经网络的目标检测冲破了传统目标检测的瓶颈,成为当前目标检测的主流算法。因此,研究如何有效地利用卷积神经网络进行目标检测具有重要的价值。首先回顾了卷积神经网络如何解决传统目标检测中存在的问题;其次介绍了卷积神经网络的基本结构,叙述了当前卷积神经网络的研究进展以及常用的卷积神经网络;然后重点分析和讨论了两种应用卷积神经网络进行目标检测的思路和方法,指出了目前存在的不足;最后总结了基于卷积神经网络的目标检测,以及未来的发展方向。     

Faster R-CNN在工业CT图像缺陷检测中的应用

目的 传统的缺陷图像识别算法需要手工构建、选择目标的主要特征,并选取合适的分类器进行识别,局限性较大。为此研究了一种基于Faster R-CNN （faster Regions with convolutional neural networks features）的缺陷检测方法,该方法采用卷积网络自动提取目标的特征,避免了缺陷检测依赖手工设计缺陷特征的问题。方法 该方法基于卷积神经网络。首先,确定缺陷检测任务：选择工业CT （computed tomography）图像中主要存在的3种类型的缺陷：夹渣、气泡、裂纹为检测目标;其次,人工对缺陷图像采用矩形框（GT box）进行标注,生成坐标文件,并依据矩形框的长宽比选定42种类型的锚窗（anchor）;在训练之前采用同态滤波对数据集做增强处理,增强后的图片经过卷积层与池化层后获得卷积特征图,并送入区域建议网络RPN （region proposal networks）中进行初次的目标（不区分具体类别）和背景判断,同时粗略地回归目标边框;最后经过RoI （region of interest） pooling层后输出固定大小的建议框,利用分类网络对建议区域进行具体的类别判断,并精确回归目标的边框。结果 待检测数据集的图片大小在150×150到350×250之间,每张图片含有若干个不同类别的气泡、夹渣和裂纹。利用训练出来的模型对缺陷图片进行检测,可以有效识别到不同类别的缺陷目标,其中可以检测到面积最小的缺陷区域为9×9 piexl,并快速、准确地标出气泡、夹渣和裂纹的位置,检测准确率高达96%,平均每张图片的检测时间为86 ms。结论 所提出的Faster R-CNN工业CT图像缺陷检测方法,避免了传统缺陷检测需要手动选取目标特征的问题,缺陷的识别与定位过程的自动化程度更高;该方法检测效果良好,如果需要检测更多种类的缺陷,只需要对网络进行微调训练即可获得新的检测模型。本文为工业CT图像缺陷检测提供了一种更高效的方法。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

基于结构感知深度神经网络的显著性对象检测算法

由于现有的基于深度神经网络的显著性对象检测算法忽视了对象的结构信息,使得显著性图不能完整地覆盖整个对象区域,导致检测的准确率下降。针对此问题,提出一种结构感知的深度显著性对象检测算法。算法基于一种多流结构的深度神经网络,包括特征提取网络、对象骨架检测子网络、显著性对象检测子网络和跨任务连接部件四个部分。首先,在显著性对象子网络的训练和测试阶段,通过对象骨骼检测子网络学习对象的结构信息,并利用跨任务连接部件使得显著性对象检测子网络能自动编码对象骨骼子网络学习的信息,从而感知对象的整体结构,克服对象区域检测不完整问题;其次,为了进一步提高所提方法的准确率,利用全连接条件随机场对检测结果进行进一步的优化。在三个公共数据集上的实验结果表明,该算法在检测的准确率和运行效率上均优于现有存在的基于深度学习的算法,这也说明了在深度神经网络中考虑对象结构信息的捕获是有意义的,可以有助于提高模型准确率。     

改进Mask R-CNN模型的海洋锋检测

目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义。海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题。针对上述问题,基于Mask R-CNN（region convolutional neural network）提出一种改进的海洋锋自动检测方法。方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度（sea surface temperatures,SST）遥感影像进行增强;其次,基于迁移学习的思想采用COCO（common objects in context）数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络（residual neural network,ResNet）和特征金字塔模型（feature pyramid network,FPN）分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度。结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验。实验结果表明,相比常用的Mask R-CNN和YOLOv3（you only look once）神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率（intersection over union,IoU）及检测平均精度均值（mean average precision,mAP）达0.85以上。此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋。结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性。通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果。