基于卷积自编码器分块学习的视频异常事件检测与定位

视频异常事件检测与定位旨在检测视频中发生的异常事件,并锁定其在视频中发生的位置.但是视频场景复杂多样,并且异常发生的位置随机多变,导致发生的异常事件难以被精准定位.本文提出了一种基于卷积自编码器分块学习的视频异常事件检测与定位方法,首先将视频帧进行均匀划分,提取视频帧中每一块的光流和方向梯度直方图(Histogram ...     

基于光流的ATM机异常行为实时检测

异常行为检测在自助银行智能监控系统领域中有广泛的应用前景.本文针对此应用领域,提出了基于区域光流特征的异常行为检测方法.首先利用混合高斯模型来表示背景像素的变化并自适应更新背景模型,用背景差法从视频序列中提取运动前景;采用lucas-kanade光流法计算出运动区域内的光流信息.采用基于幅值的加权方向直方图描述行为,计算区域内直方图的运动熵发现候选异常区域,再利用支持向量机进行分类.从实验结果可以看出,能够较好的识别出异常事件,并且实时性较好,能够满足实际应用需求.     

基于光流计算的异常拥挤行为检测算法

面向人群场景中异常拥挤行为检测,提出基于光流计算的检测方法。该方法首先采用光流微粒矢量场提取人群运动特征;然后基于社会力模型计算光流微粒之间的相互作用力;最后对相互作用力进行直方图熵值处理来实现人群行为判别。仿真实验表明,本算法可以区分人群场景中异常区域内相互作用力的大小,对异常拥挤行为进行判别和定位。     

基于运动熵的拥挤人群异常检测

视频监控在社会安全方面扮演着越来越重要的角色,在计算机视觉领域,人群异常行为检测也成为非常重要的研究课题.提出一种基于运动熵计算的人群异常检测方法.该方法在图像上散布特征点,运用光流法分组计算出各特征点的运动大小与方向,并据此建立运动直方图,用图像熵的计算方法得出图组的运动熵,运动熵及平均能量值则作为异常检测的判断依据.实验使用明尼苏达大学逃离与恐慌相关实验视频及部分网络视频,实验表明此方法拥有较强的容错能力,并能实时正确的检测出大部分异常行为的发生.     

基于社会力的多人异常行为检测

介绍了一种基于社会力的多人异常行为检测方法。在获取视频中多人区域的光流的基础上,计算区域的社会力,然后统计社会力方向的分布,生成社会力方向直方图,并以直方图熵的大小作为异常行为检测的依据。实验证明,该方法能够有效地检测出区域中多人之间的异常行为。     

一种用于异常行为检测的运动特征描述子

目前,用于描述视频中人群的运动信息大多是基于光流的速度描述子。事实上,加速度蕴含丰富的运动信息,能够提供速度描述子在描述复杂运动模式时缺失的信息,以更好地表征复杂的运动模式。文中研究了一种运动特征描述子,使用受限玻尔兹曼机模型进行异常行为检测。首先,提取视频中的光流场信息,计算帧间加速度光流;然后,对一个时空块中的加速度信息进行直方图统计,将若干帧的所有时空块直方图特征进行拼接,从而获得加速度描述子;最后,在仅包含正常行为的训练集上建立受限玻尔兹曼机模型,在测试阶段根据测试视频重建特征与原始特征的误差大小进行异常检测。实验表明,所提出的加速度描述子结合速度描述子,在UMN数据集与UCF-Web数据集上,ROC曲线下的面积分别达到了0.984与0.958,相较于其他算法,所提方法取得了更高的异常行为检测准确率。     

利用注意力机制的多示例学习视频异常检测

视频异常检测旨在检测视频中的表观异常和运动异常,多示例学习(Multiple Instance Learning, MIL)是目前较先进的弱监督视频异常检测方法,但是MIL提取的C3D特征不能同时描述视频中表观和运动信息,这导致异常检测性能较低.本文提出了利用注意力机制的多示例学习视频异常检测算法(A-MIL),首先提取视频数据的三维特征C3D和光流特征图,并利用Conv-AE提取光流图的特征向量,然后输入至3层全连接神经网络中得到每个示例每种特征的异常分数,接着通过注意力机制获取特征的权重参数,得到最终的示例分数,最后利用改进的MIL排序算法进行模型训练并设置阈值,测试时将异常分数与阈值相比较以判断异常.在公开数据集UCF-Crime上的实验结果表明,本文方法的AUC指标提升了2.79%.     

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。     

基于非局部注意力生成对抗网络的视频异常事件检测方法

针对异常事件的不确定性,文中选择使用未来帧预测的方式对视频进行异常事件检测。通过正常样本对预测模型进行训练,使模型能够准确预测不包含异常事件的未来帧,但对于包含未知事件的视频帧,模型无法进行预测,利用生成对抗网络以及表观约束和运动约束对用于预测的生成器模型进行训练。为了减少相关目标特征丢失,提出了非局部注意力U型网络生成器(Nonlocal Attention Unet Generator, NA-UnetG)模型,提升了生成器的预测精度,同时提升了视频异常事件检测的准确度。通过公开数据集CUHK Avenue和UCSD Ped2对所提方法进行实验验证,实验结果表明,所提方法的AUC指标优于其他方法,AUC分别达到了83.4%和96.3%。     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

融合门控自注意力机制的生成对抗网络视频异常检测

目的 视频异常行为检测是当前智能监控技术的研究热点之一,在社会安防领域具有重要应用。如何通过有效地对视频空间维度信息和时间维度信息建模来提高异常检测的精度仍是目前研究的难点。由于结构优势,生成对抗网络目前广泛应用于视频异常检测任务。针对传统生成对抗网络时空特征利用率低和检测效果差等问题,本文提出一种融合门控自注意力机制的生成对抗网络进行视频异常行为检测。方法 在生成对抗网络的生成网络U-net部分引入门控自注意力机制,逐层对采样过程中的特征图进行权重分配,融合U-net网络和门控自注意力机制的性能优势,抑制输入视频帧中与异常检测任务不相关背景区域的特征表达,突出任务中不同目标对象的相关特征表达,更有效地针对时空维度信息进行建模。采用LiteFlownet网络对视频流中的运动信息进行提取,以保证视频序列之间的连续性。同时,加入强度损失函数、梯度损失函数和运动损失函数加强模型检测的稳定性,以实现对视频异常行为的检测。结果 在CUHK(Chinese University of Hong Kong) Avenue、UCSD(University of California, San Dieg...     

Performance Analysis of Hybrid RR Algorithm for Anomaly Detection in Streaming Data

Automated live video stream analytics has been extensively researched in recent times. Most of the traditional methods for video anomaly detection is supervised and use a single classifier to identify an anomaly in a frame. We propose a 3-stage ensemble-based unsupervised deep reinforcement algorithm with an underlying Long Short Term Memory (LSTM) based Recurrent Neural Network (RNN). In the first stage, an ensemble of LSTM-RNNs are deployed to generate the anomaly score. The second stage uses the least square method for optimal anomaly score generation. The third stage adopts award-based reinforcement learning to update the model. The proposed Hybrid Ensemble RR Model was tested on standard pedestrian datasets UCSDPed1, USDPed2. The data set has 70 videos in UCSD Ped1 and 28 videos in UCSD Ped2 with a total of 18560 frames. Since a real-time stream has strict memory constraints and storage issues, a simple computing machine does not suffice in performing analytics with stream data. Hence the proposed research is designed to work on a GPU (Graphics Processing Unit), TPU (Tensor Processing Unit) supported framework. As shown in the experimental results section, recorded observations on frame-level EER (Equal Error Rate) and AUC (Area Under Curve) showed a 9% reduction in EER in UCSD Ped1, a 13% reduction in ERR in UCSD Ped2 and a 4% improvement in accuracy in both datasets.     

融合记忆增强的视频异常检测

深度自编码器可以通过预测当前帧来判断视频中的异常情况。但由于自动编码器对图片的低层次特征无法良好的预测,在自动编码器中添加跳跃连接可以提高预测图片细节信息的能力。由于自动编码器有很好的“泛化”能力,为了抑制对异常事件的准确预测,通过在编码器和解码器的跳跃连接之间添加记忆增强模块限制模型对异常帧的准确预测。同时,为了突出异常帧中的事件,在预测视频帧的同时通过背景提取模块获取当前图片的背景信息用于后续预测误差的计算。在UCSD Ped2数据集、CUHK Avenue数据集和ShanghaiTech数据集上的实验结果表明,改进后模型的异常检测能力得到了提升。     

一种基于局部时空特征的视频异常检测方案

针对目前大多数视频异常检测方案在局部异常检测上的不足,提出一种基于局部时空特征的视频异常检测方案。该方案先提取运动描述符,再量化拆分,对每个特征描述符使用不同标度的时间空间滤波器,获得各时间空间区域的平滑估计,为训练和测试视频计算出各区域的局部K最邻近(KNN)距离,根据上述局部KNN距离,得出测试和训练视频的总体分值。对总体分值排名,确定异常。将该方案在公共数据集(UCSD数据集、人群异常UMN数据集、U型转弯数据集)上进行测试,结果表明,该方案的误差率、曲线下面积等性能指标优于现有的视频异常检测算法。     

拥挤场景下基于密集轨迹对准及其运动影响描述符的异常活动检测

针对现有异常活动检测算法对拥挤场景下的目标跟踪和描述能力不足的问题,文中提出基于密集轨迹对准及其运动影响描述符的算法,捕捉视频目标运动的关键信息.密集轨迹保证对视频运动目标的有效提议,沿着轨迹的方向提取与轨迹对准的运动影响描述符.最后提出完整框架,准确检测全局和局部的异常活动.在UCSD公共数据集上的实验证明文中方法性能较优.     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。     

Player target tracking and detection in football game video using edge computing and deep learning

The purpose is to explore the player detection and motion tracking in football game video based on edge computing and deep learning (DL), thus improving the detection effect of player trajectory in different scenes. First, the basic technology of player target tracking and detection task is analyzed based on the Histograms of Oriented Gradients feature. Then, the neural network structure in DL is combined with the target tracking method to improve the miss detection problem of the Faster R-CNN (FRCN) algorithm in detecting small targets. Edge computing places massive computing nodes close to the terminal devices to meet the high computing and low latency requirements of DL on edge devices. After the occlusion problem in the football game is analyzed, the optimized algorithm is applied to the public dataset OTB2013 and the football game dataset containing 80 motion trajectories. After testing, the target tracking accuracy of the improved FRCN is 89.1%, the target tracking success rate is 64.5%, and the running frame rate is still about 25 fps. The high confidence of FRCN algorithm also avoids template pollution. In the ordinary scene, the FRCN algorithm basically does not lose the target. The area under curve value of the proposed FRCN algorithm decreases slightly in the scene where the target is occluded. The FRCN algorithm based on DL technology can achieve the target tracking of players in football game video and has strong robustness to the situation of players occlusion. The designed target detection algorithm is applied to the football game video, which can better analyze the technical characteristics of players, promote the development of football technology, bring different viewing experiences to the audience, drive the development of economic products derived from football games, and promote the dissemination and promotion of football.