三维卷积和视频帧采样算法下斗殴检测技术

针对监控视频中斗殴行为检测的需求,提出了一种新的基于三维卷积神经网络和视频帧采样算法的斗殴行为检测方法。针对监控视频行为检测起始定位的难点,提出了一种利用基于人体姿态信息的关键区域检测算法定位斗殴行为起始帧的方法,形成了斗殴行为预识别空间。针对深度学习训练数据冗余和优化程度不够的问题,提出了基于时间采样的视频帧采样算法,并且搭建了一个三维卷积神经网络,使网络学习到整个行为动作的时空信息。实验结果证明了所提方法在两个公共数据集上取得了优越的性能。     

一种运动背景下移动目标的检测方法

针对全局运动视频序列中的目标检测,提出了改进的灰度投影算法.通过对灰度投影相关曲线的分析,根据其单峰性特征,提出了三点局域自适应搜索算法,该方法能够快速的估计出前后两帧之间的运动矢量.然后以参考帧图像背景为参照,映射当前帧的背景信息,以此补偿全局运动矢量,将连续几帧图像的相同背景稳定在同一幅图像的相同位置上,从而能够利用改进的连续三帧差分法准确地检测出运动目标,并根据目标的特征进行分类识别.实验结果表明,该方法能够有效地从视频序列中提取和识别出运动目标.     

关键语义区域链提取的视频人体行为识别

目的 视频中的人体行为识别技术对智能安防、人机协作和助老助残等领域的智能化起着积极的促进作用,具有广泛的应用前景。但是,现有的识别方法在人体行为时空特征的有效利用方面仍存在问题,识别准确率仍有待提高。为此,本文提出一种在空间域使用深度学习网络提取人体行为关键语义信息并在时间域串联分析从而准确识别视频中人体行为的方法。方法 根据视频图像内容,剔除人体行为重复及冗余信息,提取最能表达人体行为变化的关键帧。设计并构造深度学习网络,对图像语义信息进行分析,提取表达重要语义信息的图像关键语义区域,有效描述人体行为的空间信息。使用孪生神经网络计算视频帧间关键语义区域的相关性,将语义信息相似的区域串联为关键语义区域链,将关键语义区域链的深度学习特征计算并融合为表达视频中人体行为的特征,训练分类器实现人体行为识别。结果 使用具有挑战性的人体行为识别数据集UCF （University of Central Florida）50对本文方法进行验证,得到的人体行为识别准确率为94.3%,与现有方法相比有显著提高。有效性验证实验表明,本文提出的视频中关键语义区域计算和帧间关键语义区域相关性计算方法能够有效提高人体行为识别的准确率。结论 实验结果表明,本文提出的人体行为识别方法能够有效利用视频中人体行为的时空信息,显著提高人体行为识别准确率。     

基于动态帧间间隔更新的人群异常行为检测

针对视频监控中人群异常行为检测方面存在的实时性和准确性问题,本文基于金字塔LK光流法提出一种动态帧间间隔更新的人群异常行为检测的方法. 该算法通过提取的人群运动信息来动态更新帧间间隔,接着以该帧间间隔来检测人群运动信息. 这样,算法不仅保留了原算法在检测人群运动信息方面优点,且有效提高了算法的运行效率. 最后,该算法通过获取的人群运动矢量交点密集度及能量信息来识别人群异常行为. 对多个视频进行测试,测试结果表明,该算法能够以较高正确率识别视频中人群的异常行为,同时还有效提高了算法的运行速度.     

基于背景和帧间差分法的运动目标提取

在自动人脸识别系统中,人体目标的检测是该系统识别人脸的前期关键步骤之一。为了能快速准确地检测出运动的人体目标,提出了背景差分法和帧间差分法相结合的运动目标提取检测方法。针对视频中的背景因镜头摆动或物体的移入/移出而有所变动,给出了几种提取背景的方法,比较各种方法后决定采用中值法快速地进行背景建模,随后采用自适应背景更新,结合两种差分法检测运动目标。通过实验验证了本文算法的有效性。     

一种基于2D时空信息提取的行为识别算法

基于计算机视觉的人体行为识别技术是当前的研究热点，其在行为检测、视频监控等领域都有着广泛的应用价值。传统的行为识别方法，计算比较繁琐，时效性不高。深度学习的发展极大提高了行为识别算法准确性，但是此类方法和图像处理领域相比，效果上存在一定的差距。设计了一种基于DenseNet的新颖的行为识别算法，该算法以DenseNet做为网络的架构，通过2D卷积操作进行时空信息的学习，在视频中选取用于表征行为的帧，并将这些帧按时空次序组织到RGB空间上，传入网络中进行训练。在UCF101数据集上进行了大量实验，实验准确率可以达到94.46%。     

基于统计分析的视频目标检测

针对如何从包含大量冗余信息的视频中快速检测目标的问题,提出了一种基于统计分析的目标检测方法。该方法采用改进的直方图均衡化算法对图像做预处理;通过曼哈顿距离计算图像帧之间的差值,并对差值做进一步处理;采用迭代的方法,从图像帧差值中求取阈值,利用阈值判断前景帧和背景帧;在背景帧基础上建立背景模型,通过卡方值判断前景点和背景点;最后利用形态学还原物体真实形状,实现目标的准确检测。实验表明,该方法能快速准确地检测目标,可应用于视频监控的目标检测。     

基于图像处理的公交车内人群异常情况检测

为有效地监控公交车这一特定环境中人群的异常行为,提出一种公交车内人群异常情况检测的方法。对视频图像确立感兴趣区域,进行预处理;通过改进Vi Be算法提取运动目标,引入多尺度滑窗算法确定识别区域;结合连续多帧识别区域进行改进卷积神经网络算法的异常行为识别,通过识别结果判断公交车内人群是否异常。与传统方法的比较结果表明,该算法的检测正确率较高,可达93.5%,误检率较低,仅为1.6%,在实际应用中具有较高的参考价值。     

基于深度学习的视频目标检测综述

视频目标检测是为了解决每一个视频帧中出现的目标如何进行定位和识别的问题.相比于图像目标检测,视频具有高冗余度的特性,其中包含了大量的时空局部信息.随着深度卷积神经网络在静态图像目标检测领域的迅速普及,在性能上相较于传统方法显示出了非常大的优越性,并逐步在基于视频的目标检测任务上也发挥了应有的作用.但现有的视频目标检测算...     

基于Transformer的人体动作识别

为实现人体动作的精准识别,判断人体行为,提出基于Transformer的人体动作识别方法。以注意力机制神经网络为基础,引入Transformer框架,构建人体动作识别网络模型;该模型利用注意力机制提取视频中关键信息特征,同时依据Transformer模块提取动作帧的时间特征,将提取的两种特征融合后输入分类器中,经由模型的分类器完成动作分类识别。测试结果表明,该方法具有较好的应用效果,能够精准识别视频图像中的人体动作情况,判断人体行为。     

基于关键帧筛选网络的视听联合动作识别

近年来,视听联合学习的动作识别获得了一定关注.无论在视频(视觉模态)还是音频(听觉模态)中,动作发生是瞬时的,往往在动作发生时间段内的信息才能够显著地表达动作类别.如何更好地利用视听模态的关键帧携带的显著表达动作信息,是视听动作识别待解决的问题之一.针对该问题,提出关键帧筛选网络KFIA-S,通过基于全连接层的线性时间...     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用。首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力。其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧。同时提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域,并且对时空特征进行融合进一步增强视频的特征表示。最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作。     

面向智能监控的行为识别

目的 为了进一步提高智能监控场景下行为识别的准确率和时间效率,提出了一种基于YOLO（you only look once：unified,real-time object detection）并结合LSTM（long short-term memory）和CNN（convolutional neural network）的人体行为识别算法LC-YOLO（LSTM and CNN based on YOLO）。方法 利用YOLO目标检测的实时性,首先对监控视频中的特定行为进行即时检测,获取目标大小、位置等信息后进行深度特征提取;然后,去除图像中无关区域的噪声数据;最后,结合LSTM建模处理时间序列,对监控视频中的行为动作序列做出最终的行为判别。结果 在公开行为识别数据集KTH和MSR中的实验表明,各行为平均识别率达到了96.6%,平均识别速度达到215 ms,本文方法在智能监控的行为识别上具有较好效果。结论 提出了一种行为识别算法,实验结果表明算法有效提高了行为识别的实时性和准确率,在实时性要求较高和场景复杂的智能监控中有较好的适应性和广泛的应用前景。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于胶囊网络在复杂场景下的行人识别

大数据环境下,对行人检测的需求度不断提高,然而视频中的信息越来越丰富,视频中所获取的场景也愈加复杂.在如此背景下,目前大多使用卷积神经网络进行识别,但识别率不高.在原有的胶囊网络模型的基础上,增加了两层卷积层并将胶囊维度进行了扩展,同时使用了动态路由迭代算法,提出了一种基于改进胶囊网络的行人识别模型(PRM-ICN),...     

Online robust action recognition based on a hierarchical model

Action recognition solely based on video data has known to be very sensitive to background activity, and also lacks the ability to discriminate complex 3D motion. With the development of commercial depth cameras, skeleton-based action recognition is becoming more and more popular. However, the skeleton-based approach is still very challenging because of the large variation in human actions and temporal dynamics. In this paper, we propose a hierarchical model for action recognition. To handle confusing motions, a motion-based grouping method is proposed, which can efficiently assign each video a group label, and then for each group, a pre-trained classifier is used for frame-labeling. Unlike previous methods, we adopt a bottom-up approach that first performs action recognition for each frame. The final action label is obtained by fusing the classification to its frames, with the effect of each frame being adaptively adjusted based on its local properties. To achieve online real-time performance and suppressing noise, bag-of-words is used to represent the classification features. The proposed method is evaluated using two challenge datasets captured by a Kinect. Experiments show that our method can robustly recognize actions in real-time.     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。