基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

基于深度学习的红外视频显著性目标检测

面对背景越来越复杂的海量红外视频图像,传统方法的显著性目标检测性能不断下降。为了提升红外图像的显著性目标检测性能,提出了一种基于深度学习的红外视频显著性目标检测模型。该模型主要由空间特征提取模块、时间特征提取模块、残差连接块以及像素级分类器4个模块组成。首先利用空间特征提取模块获得空间特征,然后利用时间特征提取模块获得时间特征并实现时空一致性,最后将时空特征信息和由残差连接块连接空间模块获得的空间低层特征信息一同送入像素级分类器,生成最终的显著性目标检测结果。训练网络时,使用BCEloss和DICEloss两个损失函数结合的方式,以提高模型训练的稳定性。在红外视频数据集OTCBVS以及背景复杂的红外视频序列上进行测试,结果表明所提模型都能够获得准确的显著性目标检测结果,并且具有鲁棒性及较好的泛化能力。     

基于深度学习的目标检测算法综述

深度学习目前已广泛应用到各个领域,目标检测是计算机视觉领域中的基础问题。针对传统目标检测算法存在的效率低、鲁棒性差等问题,基于深度学习的目标检测算法很好地提高了目标检测效率,成为主流趋势。论文对一些典型的基于深度学习的目标检测算法进行了综述,主要分为基于区域思想和基于回归思想两方面,对算法结构进行了分析和对比,最后对基于深度学习的目标检测算法的发展进行了展望。     

基于深度学习的织物缺陷在线检测算法

织物缺陷在线检测是纺织行业面临的重大难题，针对当前织物缺陷检测中存在的误检率高、漏检率高、实时性不强等问题，提出了一种基于深度学习的织物缺陷在线检测算法。首先基于GoogLeNet网络架构，并参考其他分类模型的经典算法，搭建出适用于实际生产环境的织物缺陷分类模型；其次利用质检人员标注的不同种类织物图片组建织物缺陷数据库，并用该数据库对织物缺陷分类模型进行训练；最后对高清相机在织物验布机上采集的图片进行分割，并将分割后的小图以批量的方式传入训练好的分类模型，实现对每张小图的分类，以此来检测缺陷并确定其位置。对该模型在织物缺陷数据库上进行了验证。实验结果表明：织物缺陷分类模型平均每张小图的测试时间为0.37 ms，平均测试时间比GoogLeNet减少了67%，比ResNet-50减少了93%；同时模型在测试集上的正确率达到99.99%。说明其准确率与实时性均满足实际工业需求。     

基于深度学习的目标检测算法综述

目标检测是高级视觉研究领域的重要前提,是计算机视觉研究的核心问题.深度学习拥有强大的自学习能力,将其运用至目标检测领域能够在一定程度上弥补了传统检测方法的不足.首先介绍了传统目标检测方法面临的困境;然后对两阶段深度学习算法和单阶段深度学习算法分别进行介绍;最后对基于深度学习的目标检测算法的发展进行总结,并对未来前景进行...     

基于深度学习的目标检测研究进展

首先,介绍了现阶段目标检测的发展并进行分类;然后阐述了YOLO系列算法,特别是YOLO中重要的核心机制,如损失函数、网络结构、优化策略、k-means聚类和批归一化;其次,对YOLO的应用场景进行介绍,如应用于行人检测、工业以及医学方面;最后,总结YOLO系列算法的特点以及未来改进方向。本文对研究基于深度学习的目标检测系统具有一定的指导意义。     

基于深度学习的移动机器人目标跟踪系统

针对当前智能移动机器人在跟踪过程中常因目标发生外观形态上的变化而丢失跟踪目标的问题,利用Caffe深度学习框架和ROS机器人操作系统作为开发平台,设计一个高准确度及高实时性的移动机器人目标跟踪系统并进行了研究.使用对于目标形变、视角、轻微遮挡及光照变化具有鲁棒性的基于孪生卷积神经网络的GOTURN目标跟踪算法,通过ROS系统为桥梁使离线训练的跟踪模型实时应用于TurtleBot移动机器人上,并开展了详细的测试.实验结果表明,该目标跟踪系统不仅设计方案可行,实现了移动机器人在各种复杂场景下有效地跟踪目标,还具有成本低、性能高和易扩展等特点.     

基于深度神经网络的综采工作面视频目标检测

综采工作面环境较复杂,地形狭长,多目标多设备经常出现在同一场景当中,使得目标检测难度加大。目前应用于煤矿井下的目标检测方法存在特征提取难度较大、泛化能力较差、检测目标类别较为单一等问题,且主要应用于巷道、井底车场等较为空旷场景,较少应用于综采工作面场景。针对上述问题,提出了一种基于深度神经网络的综采工作面视频目标检测方法。首先,针对综采工作面环境复杂多变、光照不均、煤尘大等不利条件,针对性挑选包含各角度、各环境条件下的综采工作面关键设备和人员的监控视频,并进行剪辑、删选,制作尽可能涵盖工作面现场各类场景的目标检测数据集。然后,通过对YOLOv4模型进行轻量化改进,构建了LiYOLO目标检测模型。该模型利用CSPDarknet、SPP、PANet等加强特征提取模块对视频特征进行充分提取,使用6分类YoloHead进行目标检测,对综采工作面环境动态变化、煤尘干扰等具有较好的鲁棒性。最后,将LiYOLO目标检测模型部署到综采工作面,应用Gstreamer对视频流进行管理,同时使用TensorRT对模型进行推理加速,实现了多路视频流的实时检测。与YOLOv3、YOLOv4模型相比,LiYOLO...     

基于神经网络的视频图像火焰检测方法

针对依靠人工经验提取火焰特征的传统视频火灾识别方法,误报率高、鲁棒性差的特点,文章提出基于多特征融合的神经网络视频火焰检测方法.首先,通过分析火焰区域与视频全区域的YCbCr的均值之间的关系,得到颜色特征约束条件.然后利用帧间差分法获得火焰面积变化约束条件.最后,再结合火焰圆形度及形状相似度两个特征,并运用Tensor...     

基于视频图像的火焰多特征检测

根据火灾发生时火焰的颜色、面积变化和火焰的纹理特征,提出一种基于视频图像的火焰多特征检测方法.着重介绍了对采集到的视频图像中的火焰进行颜色、面积变化的分析,并通过BP神经网络进行火焰纹理相似性的识别,以便得到更准确的火焰识别效果.     

基于深度学习的交互似然目标跟踪算法

针对传统的视频跟踪算法对视频跟踪的精度不足以及主成分分析(PCA)的非线性拟合能力较弱的问题,将卷积神经网络与交互似然(IL)算法相结合,在深度学习的基础上对粒子滤波算法进行了优化改进。将核主成分分析(KPCA)网络应用于视频跟踪来获取目标的深层次特征表达,并采用一种新的交互似然图像跟踪器, 非迭代地计算,对不同区域进行跟踪取样来减少数据之间的关联需求 。在图像集上将所提算法与多种改进算法进行评估对比,结果表明所提算法具有非常好的鲁棒性及精确性。     

融合LSD算法与深度学习的开关状态检测方法

针对工业复杂环境下设备维保成本高、视觉检测落地周期长等问题,并根据建筑信息模型（Building Information Modeling,BIM）具有与现实场景空间一致,场景视角灵活可调以及可以模拟各类光照条件等优点,提出一种在BIM环境下融合LSD（Line Segment Detector）直线检测与深度学习的设备开关状态检测方法。通过检测图像直线段信息,并基于开关盒边沿特征对直线段进行筛选,实现在图像中框定开关盒位置生成图像数据集,进而输入到YOLOv3（You Only Look Once version3）网络训练生成深度学习模型。将深度学习网络框架部署到边缘设备,在边缘侧对真实环境下开关盒工作状态进行检测。实验结果表明,该方法能够在短时间内实现BIM环境下识别检测机柜设备上的开关盒工作状态,并对真实环境下开关盒工作状态检测具有良好适应性。     

基于深度学习的多船舶目标跟踪与流量统计

研究船舶的目标跟踪对提高水上目标视频图像智能监管的水平有着至关重要的作用,系统通过深度学习SSD模型进行对船舶目标定位检测,使用修正的KCF算法对检测到的船舶目标进行跟踪。把深度学习的方式引入船舶目标检测领域,与传统检测方法相比精准率大大提高,同时提出了一个修正的KCF算法对多船舶目标进行跟踪,较好地解决了目标漏检与重复统计的问题。对大量船舶目标样本进行训练学习后,船舶检测定位精准,检测成功率达到91%以上,船舶跟踪算法快速稳定,检测与跟踪算法达到30帧每秒,船舶目标流量统计准确率达到95%以上,整个系统框架满足实时性的要求。     

基于卷积神经网络的实时行人检测方法

近年来,卷积神经网络在行人检测领域取得了同其他方法相似甚至更好的检测成绩,然而缓慢的检测速度远不能满足现实需求.针对这一问题,本文提出一种实时的行人检测方法,将分散的检测过程整合成单一的深度网络模型,被检测图片通过模型的计算可以直接输出检测结果.使用扩充的ETH数据集进行训练测试,实验结果表明,在保证准确率的情况下,该方法检测速度极快,可以满足实时检测的目的.     

应用视频技术的目标检测与跟踪系统研究

针对工业控制中智能视频的应用,本文研究了基于SOPC的智能视频在工业控制中目标检测与跟踪系统,本系统包含四个模块:图像采集模块、存储模块、目标检测跟踪模块和VGA显示模块,可以完成视频中图像的采集与处理、目标的检测与跟踪和显示等功能,实现了运动目标检测与跟踪的准确性和实时性.实验结果显示,本研究在运动目标的跟踪时偏移度...     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架.利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器.在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU(Intersection-Over...     

一种迁移学习和可变形卷积深度学习的蝴蝶检测算法

针对自然生态蝴蝶多种特征检测的实际需求,以及生态环境下蝴蝶检测效率低、精度差问题,本文提出了一种基于迁移学习和可变形卷积深度神经网络的蝴蝶检测算法（Transfer learning and deformable convolution deep learning network,TDDNET）.该算法首先使用可变形卷积模型重建ResNet-101卷积层,强化特征提取网络对蝴蝶特征的学习,并以此结合区域建议网络（Region proposal network,RPN）构建二分类蝴蝶检测网络,以下简称DNET-base;然后在DNET-base的模型上,构建RPN网络来指导可变形的敏感位置兴趣区域池化层,以便获得多尺度目标的评分特征图和更准确的位置,再由弱化非极大值抑制（Soft non-maximum suppression,Soft-NMS）精准分类形成TDDNET模型.随后通过模型迁移,将DNET-base训练参数迁移至TDDNET,有效降低数据分布不均造成的训练困难与检测性能差的影响,再由Fine-tuning方式快速训练TDDNET多分类网络,最终实现了对蝴蝶的精确检测.所提算法在854张蝴蝶测试集上对蝴蝶检测结果的mAP0.5为0.9414、mAP0.7为0.9235、检出率DR为0.9082以及分类准确率ACC为0.9370,均高于在同等硬件配置环境下的对比算法.对比实验表明,所提算法对生态照蝴蝶可实现较高精度的检测.