基于目标跟踪与深度学习的视频火焰识别方法

近年来火灾事故频发,对生态环境,社会经济都造成了严重影响,视频监控系统在火灾预防和环境监控中都有非常重要的作用。针对传统的视频火焰检测方法需要手工提取火焰特征且识别率低、误检率高的缺点,提出了一种基于特征检测,多目标跟踪和深度学习的火焰检测算法。通过高斯混合模型运动检测方法对视频中的动态目标进行提取,再经过HSI与RGB结合的颜色模型进行筛选,得到疑似火焰目标,对提取的目标进行多目标跟踪算法跟踪,最终对稳定存在的目标通过CaffeNet模型进行判别,得到火焰判别结果。实验证明,本算法实现了对视频火焰的准确检测,能对火焰进行有效识别,对火焰视频数据集上的平均识别精度达到98.79%,并能适应实时检测火灾的需求。     

基于改进YOLOv5+DeepSort算法模型的交叉路口车辆实时检测

针对传统目标检测跟踪算法检测精度低、鲁棒性差的缺点，以及交叉路口图像视频资源冗余的现象和车辆密集程度高的特点，提出了一种基于改进YOLOv5和DeepSort算法模型的交叉路口实时车流量检测方法，在MS COCO和BDD100k相结合的数据集上，采用改进的YOLOv5算法模型实现视频小目标车辆检测，利用深度学习多目标跟踪算法DeepSort对检测的车辆进行实时跟踪计数，实现了交叉路口监控端对端的实时车流量检测。通过分析比较不同参数的模型，最终选定了YOLOv5m模型。实验结果表明，该方法在复杂环境、车辆遮挡和目标密集程度高等环境下检测速度更加快，对车辆的检测效果更好，平均准确度达到96.6%。该方法完全满足目标实时性检测的要求，能充分满足交叉路口车辆检测的有效性，满足实际需要的使用需求。     

多目标检测与跟踪算法在智能交通监控系统中的研究进展

多目标跟踪的研究对于构建人、路、车、云协同一体化的智能交通监控系统具有广泛的应用价值,传统手工设计特征的方法对高层信息的表征能力有限,难以进行复杂场景下的多目标跟踪,随着深度学习的发展,多目标跟踪算法的性能取得较大进展.为了宏观把握基于深度学习的多目标跟踪算法的研究进展,首先比较基于检测的跟踪算法、基于联合检测与跟踪算法、基于单目标跟踪器的多目标跟踪算法的优缺点;然后介绍多目标跟踪算法在智能交通监控场景的应用;最后总结目前多目标跟踪存在的问题与挑战,对多目标跟踪算法未来在智能交通领域的发展进行思考和展望.     

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

视频序列中面向人的多目标跟踪算法

针对视频序列中人的跟踪问题，提出一种基于运动检测的多目标跟踪算法．跟踪系统由运动目标检测、关联矩阵建立、特殊情况判断及处理以及轨迹关联4部分构成．提出一种基于改进的c-均值聚类的自适应运动分割方法；不同情况下建立不同的关联矩阵，以准确判断实际场景状况；对遮挡问题作出处理，在两个目标遮挡不严重的情况下，分别采用均值漂移算法对其进行跟踪．实验结果表明，该算法具有较强的鲁棒性，能有效实现复杂场景下多目标跟踪．     

基于概率假设密度的多目标视频跟踪算法

研究目标数变化的多目标视频跟踪问题.首先阐述了概率假设密度(PHD)滤波的基本原理;然后给出序列图像多目标跟踪系统的运动目标检测算法、状态方程、观测方程以及基于高斯混合概率假设密度(GM-PHD)的多目标视频跟踪算法的具体实现.该算法有效解决了新目标出现、目标合并、目标分裂及目标消失等多目标跟踪问题.实验结果表明,该算法在复杂场景下具有较强的鲁棒性,能有效实现目标数变化的多目标视频跟踪.     

可视化背景提取和粒子滤波的行为检测研究

在智能视频监控中,目标所在场景的复杂性和光照变化使得运动目标的检测难度加大.采用可视化背景提取(ViBe)算法来检测运动目标,对于运动目标在运动过程中的交叉、遮挡等情况,采用ViBe算法和粒子滤波运动目标跟踪算法相结合,完成对运动目标的检测与跟踪;在运动行为检测中,进一步定义目标的运动方向,从而判断目标的运动状态.实验表明,ViBe算法能够准确检测复杂场景中的运动目标,并能够适应噪声干扰和光照变化,将其和粒子滤波结合能够准确跟踪实际场景中的运动目标,并能够准确判断目标的运动状态.     

基于检测的多目标跟踪算法综述

多目标跟踪是计算机视觉领域重要的研究课题,在交通监控、自动驾驶以及虚拟现实等领域应用广泛。近年来,随着深度学习的快速发展和目标检测算法精度的不断提升,基于检测的多目标跟踪算法已超越传统跟踪方法,成为当前多目标跟踪算法的主流。文中首先回顾了传统多目标跟踪算法的发展过程,然后介绍了基于检测的两类多目标跟踪算法,即在线多目标跟踪算法及离线多目标跟踪算法,之后将算法在MOT16数据集上的运行结果进行对比分析,并依据两类跟踪算法的优缺点对基于检测的多目标跟踪做出总结与展望。     

联合特征融合和判别性外观模型的多目标跟踪

目的 针对基于检测的目标跟踪问题,提出一种联合多特征融合和判别性外观模型的多目标跟踪算法。方法 对时间滑动窗内的检测器输出响应,采用双阈值法对相邻帧目标进行初级关联,形成可靠的跟踪片,从中提取训练样本;融合多个特征对样本进行鲁棒表达,利用Adaboost算法在线训练分类器,形成目标的判别性外观模型;再利用该模型对可靠的跟踪片进行多次迭代关联,形成目标完整的轨迹。结果 4个视频数据库的目标跟踪结果表明,本文算法能较好的处理目标间遮挡、目标自身形变,以及背景干扰。对TUD-Crossing数据库的跟踪结果进行了定量分析,本文算法的FAF(跟踪视频序列时,平均每帧被错误跟踪的目标数)为0.21、MT(在整个序列中,有超过80%视频帧被跟踪成功目标数占视频序列目标总数的比例)为84.6%、ML(在整个序列中,有低于20%视频帧被跟踪成功目标数占视频序列目标总数的比例)为7.7%、Frag(视频序列目标真值所对应轨迹在跟踪中断开的次数)为9、IDS(在跟踪中,目标身份的改变次数)为4; 与其他同类型多目标跟踪算法相比,本文算法在FAF和Frag两个评估参数上表现出色。结论 融合特征能对目标进行较为全面的表达、判别性外观模型能有效地应用于跟踪片关联,本文算法能实现复杂场景下的多目标跟踪,且可以应用到一些高级算法的预处理中,如行为识别中的轨迹检索。     

一种基于视频的多目标追踪与分割算法

基于视觉的多目标跟踪由于在智能监控、动作与行为分析、自动驾驶、虚拟现实和娱乐互动等领域都有重要的应用,近年来越来越多地成为计算机视觉领域的研究重点。并且在电力设施中对人员的活动需要实时追踪,有助于安全防护。对此,针对视频中的多目标检测与分割问题,在原有Mask-RCNN算法的基础上做了改进,引入光流分析法和视频关键帧提取技术,在不改变检测精度的同时大幅度缩短对每一帧的检测时间。实验结果表明,相较于原有Mask-RCNN算法,改进的Mask-RCNN算法大幅缩短了检测时间,对比于其他的目标追踪算法,改进的Mask-RCNN算法增强了对视频中的对象实例识别和分割的效果,分割精度有了显著提升,达到了视频里的多目标追踪的需求,并且对提高多目标场景下的目标跟踪水平具有一定的实际意义。     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

一种视频多运动目标跟踪方法研究

图像运动目标跟踪是自动监控、道路导航、交通监控等重要系统的核心技术。为了解决视频中多个运动目标的跟踪,利用帧间差分、Kalman滤波器以及少量特征匹配来自动提取各个运动目标并进行跟踪。针对灰度图像序列,采用一种基于图像序列的梯度信息,使用帧间差分法自动提取运动目标,利用Kalman滤波器预测目标位置,在估计目标在下一帧的位置范围后,根据目标直方图特征来缩小搜索范围实现目标对象的准确跟踪。实验结果表示,该方法具有较小的运算量和较好的实时性,同等条件下具有较高准确性。     

短时记忆与CenterTrack的车辆多目标跟踪

目的 车辆多目标跟踪是智能交通领域关键技术,其性能对车辆轨迹分析和异常行为鉴别有显著影响。然而,车辆多目标跟踪常受外部光照、道路环境因素影响,车辆远近尺度变化以及相互遮挡等干扰,导致远处车辆漏检或车辆身份切换（ID switch,IDs）问题。本文提出短时记忆与CenterTrack的车辆多目标跟踪,提升车辆多目标跟踪准确度（multiple object tracking accuracy,MOTA）,改善算法的适应性。方法 利用小样本扩增增加远处小目标车辆训练样本数;通过增加的样本重新训练CenterTrack确定车辆位置及车辆在相邻帧之间的中心位移量;当待关联轨迹与检测目标匹配失败时通过轨迹运动信息预测将来的位置;利用短时记忆将待关联轨迹按丢失时间长短分级与待匹配检测关联以减少跟踪车辆IDs。结果 在交通监控车辆多目标跟踪数据集UA-DETRAC （University at Albany detection and tracking）构建的5个测试序列数据中,本文方法在维持CenterTrack优势的同时,对其表现不佳的场景获得近30%的提升,与YOLOv4-DeepSort（you only look once—simple online and realtime tracking with deep association metric）相比,4种场景均获得近10%的提升,效果显著。Sherbrooke数据集的测试结果,本文方法同样获得了性能提升。结论 本文扩增了远处小目标车辆训练样本,缓解了远处小目标与近处大目标存在的样本不均衡,提高了算法对远处小目标车辆的检测能力,同时短时记忆维持关联失败的轨迹运动信息并分级匹配检测目标,降低了算法对跟踪车辆的IDs,综合提高了MOTA。     

基于改进DeepSORT算法的摩托车头盔佩戴检测

为了解决在实际道路场景中对摩托车驾乘者头盔佩戴情况的检测与跟踪问题,提出一种优化的DeepSORT多目标跟踪摩托车头盔检测算法。使用改进的YOLOv3算法作为目标检测器,该方法采用MobileNetv3-Large作为YOLOv3特征提取网络,以轻量化网络结构,借鉴CEM模块的思想,引入SoftPool池化层和SE模块,构建了深浅语义融合增强模块,加强网络对输入特征深浅语义的编码能力。为了实现摩托车头盔佩戴分类和DeepSORT算法中外观特征识别模型的优化,构建多任务学习框架,通过对比损失函数和改进的交叉损失函数对多任务网络进行迭代训练来提升相似度学习能力和实现最终头盔佩戴情况分类。实验结果表明：在目标检测方面,改进网络的摩托车检测精度相较原始算法提升了4.56个百分点,模型大小仅为YOLOv3的13.7%。结合DeepSORT算法,多目标跟踪准确率相较于YOLOv3-DeepSORT算法从51.6%提升到了67.5%,多目标跟踪精度从57.3%提升到75.6%,检测追踪速度由6 FPS提升到了20 FPS,最终的NPH模型检测分类精度为72.42%。实现了对实际道路中摩托车驾乘人员头...     

Multi-target indoor localization and tracking on video monitoring system in a wireless sensor network

The development of wireless sensor networks (WSNs) has greatly encouraged the use of sensors for multi-target tracking. The high efficiency detection and location monitoring are critical requirements for multi-target tracking in a WSN. In this paper, we present an indoor tracking model using IEEE 802.15.4 compliant radio frequency and video monitoring system to monitor targets in a special way. Our motivation is to manipulate the erratic or unstable received signal strength indicator (RSSI) signals to deliver the stable and precise position information in the indoor environment. We propose a localization algorithm based on statistical uncorrelated vectors and develop a smoothing algorithm to minimize the noise in RSSI values. We also present a solution combining the WSN with the Ethernet technology to decrease the RSSI interference by buildings. The developed system can realize the functions of multi-target detection and tracking, and specific target inquiries, alarms and monitoring. The system architecture, hardware and software organization, as well as the solutions for multiple targets tracking, RSSI interference and localization accuracy have been introduced in details.     

基于递归神经网络的视频多目标检测技术

针对现有基于大数据和深度学习的目标检测框架难以实现在低功耗移动和嵌入式设备上实时进行视频目标检测的问题,改进了基于深度学习的目标检测框架SSD,提出一种改进的多目标检测框架LSTM-SSD,将其专用于交通场景视频多目标检测。将单图像检测框架与递归神经网络-LSTM网络相结合,形成交织循环卷积结构,通过采用一种Bottleneck-LSTM层提炼传播帧间的特征映射实现了网络帧级信息的时序关联,极大降低了网络计算成本;将时间感知信息与改进的动态卡尔曼滤波算法结合起来,实现了对视频中受光照变化、大面积遮挡等强干扰影响目标的追踪识别。实验表明,改进后的LSTM-SSD在应对多目标、杂乱背景、光照变化、模糊、大面积遮挡等检测难度较大的情况时,均能获得较好的效果,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了5%~16%,平均准确率均值提高了约4%~10%,多目标检测率提高了4%~19%,检测帧率达到43 fps,基本满足实时性的要求。其实现了算法精度与运行速率的平衡,取得了较好的检测识别效果。     

一种快速区域视频行检测方法的设计与实现

根据目前国内各种视频检测技术在电子警察系统上的应用,结合雷达目标检测算法,设计出具有背景自适应、目标跟踪等特点的一种快速区域视频行检测方法;该方法通过检测区域行亮度的变化,通过检测目标之间的相关处理来判断机动车是否违法,不仅能高效实现对汽车违规跨越道路中心黄线进行自动监测、记录,还为交通管理部门进行执法提供有力的证据并减少交通事故的发生;通过现场测试表明,该方法不仅准确率高,而且实时性很强,具有很大的实用价值.     

无人机视角下的多车辆跟踪算法研究

针对无人机视频中存在目标密集、运动噪声强而导致跟踪性能显著下降的问题,提出了一种改进YOLOv3的车辆检测算法及一种基于深度度量学习的多车辆跟踪算法。针对车辆检测的精度与实时性问题,采用深度可分离卷积网络MobileNetv3作为特征提取网络实现网络结构轻量化,同时采用CIoU Loss作为边框损失函数对网络进行训练。为了在多目标跟踪过程中提取到更具判别力的深度特征,提出了一种基于深度度量学习的多车辆跟踪算法,实验证明,本文提出的算法有效改善车辆ID跳变问题,速度上满足无人机交通视频下车辆跟踪的实时性要求,达到17 f/s。