基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

基于深度学习的人群异常行为检测综述

随着安防需求的日益增长,人群异常行为检测已经成为计算机视觉的研究热点.人群异常行为检测旨在对监控视频中行人的行为进行建模和分析,区分出人群中的正常行为和异常行为,及时发现灾难和意外事件.文中对基于深度学习的人群异常行为检测算法进行了梳理总结.首先,针对人群异常行为检测任务及其现状进行介绍;其次,重点探讨卷积神经网络、自编码网络和生成对抗网络在人群异常行为检测任务中的研究进展;然后,列举该领域常用的数据集,并比较和分析了深度学习方法在UCSD行人数据集上的性能;最后,总结人群异常行为检测的任务难点,并对该领域的未来发展趋势进行了展望.     

人的交互行为识别与理解研究综述

人的交互行为识别和理解是计算机视觉研究领域一个备受关注的前沿方向。介绍人与物体的交互行为识别、双人交互行为识别以及多人交互(人群)行为识别和理解方面的最新研究成果和该研究领域的公共数据集。总结了人的交互行为识别与理解研究目前存在的难点问题,并展望了未来可能的发展方向。     

人群行为分析研究进展

人群行为分析是计算机视觉领域一个新兴的研究方向,在智能视频监控、虚拟现实、视频检索等方面有着广泛的应用前景和巨大的经济价值.主要从数据库和分析方法两个方面对人群行为分析的研究进展进行综述.人群行为数据库主要包括行为数据库和监控数据库两种,对这两类数据库中比较典型的库进行了总结,并从人群行为的分解方法和识别方法两方面对人群行为分析方法进行了详细总结.将分解方法分为3种,分别指出了各种方法的优缺点.将人群行为的识别方法分为基于统计的方法和基于描述的方法两种,对它们进行了详细比较,并指出了识别方法的发展趋势.总结了人群行为分析的潜在问题,并展望了其发展前景.     

弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

人体行为识别方法研究综述

随着计算机视觉不断发展,人体行为识别在视频监控、视频检索和人机交互等诸多领域中展现出其广泛的应用前景和研究价值。人体行为识别涉及到对图像内容的理解,由于人体姿势复杂多样和背景遮挡的因素导致实际应用的进展缓慢。全面回顾了人体行为识别的发展历程,深入探究了该领域的研究方法,包括传统手工提取特征的方法和基于深度学习的方法,以及最近十分热门的基于图卷积网络(GCN)的方法,并按照所使用的数据类型对这些方法进行了系统的梳理;此外,针对不同的数据类型,分别介绍了一些热门的行为识别数据集,对比分析了各类方法在这些数据集上的性能。最后进行了概括总结,并对未来人体行为识别的研究方向进行了展望。     

人群行为分析研究综述

近年来,人群行为分析成为计算机视觉领域中备受关注的研究方向,主要运用于智能视频监控、人机交互、智能家居、视频检索等领域,以视频中运动人群的行为分析和理解为研究目的,对输入序列图像中的运动目标进行运动检测、匹配和建模.文中对人群行为分析的研究现状以及典型算法进行全面综述.首先对当前人群行为数据库进行简要介绍并分类比较;之后根据人群行为分析算法核心侧重点的不同,将人群行为分析算法分为基于特征和基于模型两大类,并根据每一大类各自的特点进行细分和比较,详细介绍了每类中具有代表性的算法,分析各算法的优缺点和适用的人群场景;最后总结了人群行为分析中的困难和挑战,对该研究领域的发展进行展望.     

基于机器学习的用户与实体行为分析技术综述

随着网络安全技术的更新迭代,新型攻击手段日益增加,企业面临未知威胁难以识别的问题。用户与实体行为分析是识别用户和实体行为中潜在威胁事件的一种异常检测技术,广泛应用于企业内部威胁分析和外部入侵检测等任务。基于机器学习方法对用户和实体的行为进行模型建立与风险点识别,可以有效解决未知威胁难以检测的问题,增强企业网络安全防护能力。回顾用户与实体行为分析的发展历程,重点讨论用户与实体行为分析技术在统计学习、深度学习、强化学习等3个方面的应用情况,研究具有代表性的用户与实体行为分析算法并对算法性能进行对比分析。介绍4种常用的公共数据集及特征工程方法,总结两种增强行为表述准确性的特征处理方式。在此基础上,阐述归纳典型异常检测算法的优劣势,指出内部威胁分析与外部入侵检测的局限性,并对用户与实体行为分析技术未来的发展方向进行展望。     

基于HMM的无主包裹识别

随着行为理解研究的深入,无主包裹的监测分析受到计算机视觉领域研究者的广泛关注.其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别目标并对其行为进行理解与描述.文中结合智能视频监控的应用需求,为了实现无主包裹识别的智能化,将隐马尔科夫模型方法运用在无主包裹识别中,给出了一个基于HMM的无主包裹识别方案,并进行了图像预处理,对HMM参数训练和识别及其识别性能进行了研究,同时对未来的发展趋势作了总结与阐述.     

基于进程行为的异常检测研究综述 *

基于进程行为的异常检测技术具有较好的检测效果 ,有望成为异常检测实用化的突破口。从看待正常的角度以及建模方法两方面对该领域研究进展进行总结 ,对主要方法的误差特性和检测复杂性进行分析 ,对后续研究工作具有参考意义。     

基于深度学习与稀疏光流的人群异常行为识别

目前公共场所人群异常行为检测的异常种类检测准确率较低,且多数对突然奔跑等部分异常行为无法识别.为此,提出一种基于YOLO_v3与稀疏光流的人群异常行为识别算法,通过检测小团体异常为群体异常预警与采取相应的应急措施提供充足的时间.为方便定位异常发生区域,将视频分割为多个子区域,通过获取子区域的图像样本进行诱发群体异常的小团体异常检测,利用改进YOLO_v3神经网络对传统算法较难检测行人持棍、持枪、持刀与面部遮挡等异常进行检测,在未检测到上述异常诱因时,使用稀疏光流法获取人群平均动能与运动方向熵,将得到的特征数据通过PSO-ELM进行分类,区分正常行为与同向突散或无规则突散.实验结果表明,与现有同类算法相比,该算法能有效检测行人持械与面部遮挡等小团体异常,并且定位异常发生区域的准确率达到98.227%.     

Abnormal crowd behavior detection using high-frequency and spatio-temporal features

Abnormal crowd behavior detection is an important research issue in computer vision. The traditional methods first extract the local spatio-temporal cuboid from video. Then the cuboid is described by optical flow or gradient features, etc. Unfortunately, because of the complex environmental conditions, such as severe occlusion, over-crowding, etc., the existing algorithms cannot be efficiently applied. In this paper, we derive the high-frequency and spatio-temporal (HFST) features to detect the abnormal crowd behaviors in videos. They are obtained by applying the wavelet transform to the plane in the cuboid which is parallel to the time direction. The high-frequency information characterize the dynamic properties of the cuboid. The HFST features are applied to the both global and local abnormal crowd behavior detection. For the global abnormal crowd behavior detection, Latent Dirichlet allocation is used to model the normal scenes. For the local abnormal crowd behavior detection, Multiple Hidden Markov Models, with an competitive mechanism, is employed to model the normal scenes. The comprehensive experiment results show that the speed of detection has been greatly improved using our approach. Moreover, a good accuracy has been achieved considering the false positive and false negative detection rates.     

计算机群体动画中的真实感行为综述

近年来,计算机群体动画在虚拟现实、计算机游戏、在线教育、娱乐和模拟训练等多个领域得到广泛深入的应用。目前群体动画技术中两个关键的研究领域是：1)研究并建立大规模群体运动的仿真模型,即如何实现对群体运动的真实感行为模拟;2）研究群体动画中高质量的可视化效果,即如何将大规模群体运动以三维的方式逼真地展现到虚拟场景中。现在这两个领域的技术研究也得到了一些很好的研究成果。定义了群体运动的概念,并给出了群体动画的引擎框架;对群体运动的真实感行为从其发展历程、模型和关键算法等方面进行了归纳与分析;最后讨论了群体动画真实感行为的发展趋势。     

基于智能监控的中小人群异常行为检测

针对人群异常行为检测实时性较差、分类算法识别率不高、特征量较少的问题,提出一种基于智能监控的中小人群异常行为检测算法。首先,利用快速群体密度检测算法,提取人群数量变化信息;其次,利用改进的Lucas-Kanande光流法提取视频中人群的平均动能、人群方向熵、人群距离势能;最后,利用极限学习机(ELM)算法对人群行为进行分类。使用UMN公共数据集进行测试,ELM算法对中小人群异常行为分析比中高密度人群异常行为检测算法和基于KOD能量特征的群体异常行为检测算法识别率分别高出7.13个百分点和5.89个百分点,并且人数密度估计部分平均每帧图像处理耗时相比中高密度人群异常行为检测算法减少了106 ms(近1/3)。实验结果表明:基于智能监控的中小人群异常行为检测算法能有效提高异常帧识别率和实时性。     

Abnormality detection in crowd videos by tracking sparse components

Abnormality detection in crowded scenes plays a very important role in automatic monitoring of surveillance feeds. Here we present a novel framework for abnormality detection in crowd videos. The key idea of the approach is that rarely or sparsely occurring events correspond to abnormal activities, while the regularly or commonly occurring events correspond to the normal activities. Each input video is represented using feature matrices that capture the nature of activity taking place while maintaining the spatial and temporal structure of the video. The feature matrices are decomposed into their low-rank and sparse components where sparse component corresponds to the abnormal activities. The approach does not require any explicit modeling of crowd behavior or training, but the information from training data can be seamlessly incorporated if it is available. The estimation is further improved by ensuring temporal and spatial coherence of sparse component across the videos using a Kalman filter-like framework. This not only results in reduction of outliers and noise but also fills missing regions in the sparse component. Localization of the anomalies is obtained as a by-product of the proposed approach. Evaluation on the UMN and UCSD datasets and comparisons with several state-of-the-art crowd abnormality detection approaches shows the effectiveness of the proposed approach. We also show results on a challenging crowd dataset created as part of this effort, with videos downloaded from the web.     

基于光流计算的异常拥挤行为检测算法

面向人群场景中异常拥挤行为检测,提出基于光流计算的检测方法。该方法首先采用光流微粒矢量场提取人群运动特征;然后基于社会力模型计算光流微粒之间的相互作用力;最后对相互作用力进行直方图熵值处理来实现人群行为判别。仿真实验表明,本算法可以区分人群场景中异常区域内相互作用力的大小,对异常拥挤行为进行判别和定位。     

基于动态帧间间隔更新的人群异常行为检测

针对视频监控中人群异常行为检测方面存在的实时性和准确性问题,本文基于金字塔LK光流法提出一种动态帧间间隔更新的人群异常行为检测的方法. 该算法通过提取的人群运动信息来动态更新帧间间隔,接着以该帧间间隔来检测人群运动信息. 这样,算法不仅保留了原算法在检测人群运动信息方面优点,且有效提高了算法的运行效率. 最后,该算法通过获取的人群运动矢量交点密集度及能量信息来识别人群异常行为. 对多个视频进行测试,测试结果表明,该算法能够以较高正确率识别视频中人群的异常行为,同时还有效提高了算法的运行速度.     

基于多尺度时间递归神经网络的人群异常检测

如何在人群密度大、变化快、存在大量遮挡的密集场景中实现可靠的人群事件检测,是领域研究的难点和热点.在密集场景时空建模的基础上提出了一种基于多尺度时间递归神经网络的人群异常事件检测和定位方法.首先对人群场景进行网格化划分,并利用多尺度光流直方图对每个网格的人群动态进行刻画;然后,连接各个局部的人群动态获得整体的人群动态,实现整体人群动态的时间序列建模;最后,利用多尺度时间递归神经网络实现异常事件的检测和定位.其中,多尺度隐含层实现了密集场景中不同规模相邻网格之间的空间联系,节点间的反馈关系则为时间维度上的关系表达提供了有效方案.与多种代表性算法的对比实验,验证了本方法的有效性.     

基于KOD能量特征的群体异常行为识别

在群体异常行为识别过程中, 针对传统特征易受目标遮挡影响导致其对群体行为的弱描述性问题, 提出一种基于KOD（kinetic orientation distance）能量特征的群体异常行为识别方法。该能量特征忽略群体中相互遮挡的个体的局部特征, 从群体行为整体上分别根据群体的运动剧烈程度、群体运动方向一致性和群体中个体的相对位置定义并提取群体动能、方向势能和距离势能构成群体行为高层KOD能量特征, 以此描述群体的运动状态变化, 最后通过构建隐马尔可夫模型实现群体异常行为检测及类型识别。在PETS和UMN公共数据集上进行实验并与传统光流特征进行对比, 实验结果表明, 使用KOD能量特征能够有效地检测出群体异常行为并识别出其类型, 且能够达到92%的准确率。     

基于C3D-GRNN模型的人群异常行为识别算法

针对传统人群行为识别算法受人工主观因素影响较大等问题,综合三维卷积神经网络（C3D）与广义回归神经网络（GRNN）的优势和特点,提出并实现了基于C3D-GRNN模型的人群异常行为识别算法。该算法首先采用ViBe算法确定运动目标区域,然后通过改进C3D网络提取目标的HOG时空特征,再加入GRNN层进行分类训练,最后根据训练好的C3D-GRNN模型完成人群异常行为的识别与分类。实验结果表明：所提算法的HOG时空特征能够明显提升对人群行为的表达能力,减少了特征提取工作量,并且该方法的准确度和鲁棒性均高于支持向量机等其他同类方法,为小样本数据集的分类问题提供解决新思路,具有较高的应用价值。