面向群体行为识别的非局部网络模型

目的 视频行为识别一直广受计算机视觉领域研究者的关注，主要包括个体行为识别与群体行为识别。群体行为识别以人群动作作为研究对象，对其行为进行有效表示及分类，在智能监控、运动分析以及视频检索等领域有重要的应用价值。现有的算法大多以多层递归神经网络（RNN）模型作为基础，构建出可表征个体与所属群体之间关系的群体行为特征，但是未能充分考虑个体之间的相互影响，致使识别精度较低。为此，提出一种基于非局部卷积神经网络的群体行为识别模型，充分利用个体间上下文信息，有效提升了群体行为识别准确率。方法 所提模型采用一种自底向上的方式来同时对个体行为与群体行为进行分层识别。首先从原始视频中沿着个人运动的轨迹导出个体附近的图像区块；随后使用非局部卷积神经网络（CNN）来提取包含个体间影响关系的静态特征，紧接着将提取到的个体静态特征输入多层长短期记忆（LSTM）时序模型中，得到个体动态特征并通过个体特征聚合得到群体行为特征；最后利用个体、群体行为特征同时完成个体行为与群体行为的识别。结果 本文在国际通用的Volleyball Dataset上进行实验。实验结果表明，所提模型在未进行群体精细划分条件下取得了77.6%的准确率，在群体精细划分的条件下取得了83.5%的准确率。结论 首次提出了面向群体行为识别的非局部卷积网络，并依此构建了一种非局部群体行为识别模型。所提模型通过考虑个体之间的相互影响，结合个体上下文信息，可从训练数据中学习到更具判别性的群体行为特征。该特征既包含个体间上下文信息、也保留了群体内层次结构信息，更有利于最终的群体行为分类。     

基于多级深度网络架构的群体行为分析模型研究

群体行为的多层次深度分析是行为识别领域亟待解决的重要问题。在深度神经网络研究的基础上,提出了群体行为识别的层级性分析模型。基于调控网络的迁移学习,实现了行为群体中多人体的时序一致性检测;通过融合时空特征学习,完成了群体行为中时长无约束的个体行为识别;通过场景中个体行为类别、交互场景上下文信息的融合,实现了对群体行为稳定有效的识别。在公用数据集上进行的大量实验表明,与现有方法相比,该模型在群体行为分析识别方面具有良好的效果。     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

基于KOD能量特征的群体异常行为识别

在群体异常行为识别过程中, 针对传统特征易受目标遮挡影响导致其对群体行为的弱描述性问题, 提出一种基于KOD（kinetic orientation distance）能量特征的群体异常行为识别方法。该能量特征忽略群体中相互遮挡的个体的局部特征, 从群体行为整体上分别根据群体的运动剧烈程度、群体运动方向一致性和群体中个体的相对位置定义并提取群体动能、方向势能和距离势能构成群体行为高层KOD能量特征, 以此描述群体的运动状态变化, 最后通过构建隐马尔可夫模型实现群体异常行为检测及类型识别。在PETS和UMN公共数据集上进行实验并与传统光流特征进行对比, 实验结果表明, 使用KOD能量特征能够有效地检测出群体异常行为并识别出其类型, 且能够达到92%的准确率。     

视频中人体行为识别的时序建模算法的分析

目前人体行为识别是视频分析领域的研究热点,准确有效的人体行为识别的关键是动作时序建模和特征表示。该文归纳了人体行为识别常用的数据集,对人体行为识别表示方法进行了全面的回顾,并介绍了人体行为识别研究的最新方法,包括RGB和深度数据中手工设计的动作特征的进展,基于深度学习的时序表示方法的最新进展及当前研究的热点。最后总结了目前待解决的问题,对未来行为识别可能的发展方向进行了论述。     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

时序增强的视频动作识别方法

针对视频动作识别中的时空建模问题,在深度学习框架下提出基于融合时空特征的时序增强动作识别方法.首先对输入视频应用稀疏时序采样策略,适应视频时长变化,降低视频级别时序建模成本.在识别阶段计算相邻特征图间的时序差异,以差异计算结果增强特征级别的运动信息.最后,利用残差结构与时序增强结构的组合方式提升网络整体时空建模能力.实验表明,文中算法在UCF101、HMDB51数据集上取得较高准确率,并在实际工业操作动作识别场景下,以较小的网络规模达到较优的识别效果.     

个人运动管理系统中的行为识别方法

为使个人运动管理系统更好地感知用户行为,给予科学的运动指导,提出一种基于通用模型迁移的自适应行为识别方法。该方法无需对个体数据进行标定,通过将群体行为的共性知识迁移到个体行为,使通用识别模型可以随着个体行为样本的增多,自适应地调整共性知识,从而形成针对特定个体的个性化行为识别模型。实验结果表明,个性化模型的平均识别精度可以从67.31%提高到83.54%。     

基于自注意力机制的视频行为分析

视频行为识别是智能视频分析的重要组成部分.传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点.针对two-stream系列的深度卷积网络,时间网络的输入是直接以相邻两帧的光流场作为输入,其中也包含了镜头移动、背景运动等无关的运动特征的问题,在视频时序上仅通过分块取样固定长度的帧,其...     

基于局部特征在线学习的视频人脸识别

针对视频人脸识别实时性问题,提出一种基于局部特征在线学习的视频人脸识别方法。首先,从人脸任意关键点提取局部特征,采用投票算法挑选出每个簇的代表性特征;然后,进行学习过程,直到簇中人脸数目达到要求的最小值且人脸图像距其簇平均的最远距离低于一个阈值;最后,将检测到的视频帧按顺序与图库中所有个体的簇进行匹配,利用复合时序相似度度量完成人脸的识别。在一个有50个注册对象和20个未知者的数据库上进行在线识别实验,获得了97.8%的识别率。实验结果表明,相比其他几种视频人脸识别算法,该算法取得了更好的识别效果。     

基于注意力机制的时间分组深度网络行为识别算法

受人脑视觉感知机制启发,在深度学习框架下提出基于注意力机制的时间分组深度网络行为识别算法.针对局部时序信息在描述持续时间较长的复杂动作上的不足,使用视频分组稀疏抽样策略,以更低的成本进行视频级时间建模.在识别阶段引入通道注意力映射,进一步利用全局特征信息和捕捉分类兴趣点,执行通道特征重新校准,提高网络的表达能力.实验表明,文中算法在UCF101、HMDB51数据集上的识别准确率较高.     

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低.针对此问题,提出了一种上下文信息融合的时序行为提名方法.该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间.针对门控循环单元(GRU)存在参数较多和梯...     

企业群体集聚的移动元胞自动机模拟

为了研究企业群体行为,从企业个体行为特征出发,结合元胞自动机模型,将企业本身需求特征属性、周围邻居变化影响因素和学习记忆属性等三个企业个体特征引入到元胞自动机模型,此外,在模型中赋予元胞移动属性,企业个体根据演化规则和邻域结构选择移动一步或者等待,仿真研究企业个体的三个个体特征对个体行为乃至群体行为的影响。研究结果表明,企业行为的三个个体特征对个体的行为和群体的行为都有一定的影响,其中个体的行为特征变化受周围邻居的特征变化影响。仿真实验也说明该模型与实际情况相符。     

一种端到端的考场多目标行为识别算法

人工监考存在监考人员容易疲惫、监考行为缺乏客观的执行准则、违规行为证据无法留存等问题,因此越来越多的高校建设了智能化教室,并在教室开始实施利用行为识别进行自动化的监考任务,以期在监考工作中解放人工劳动的同时提供公平公正客观的监考程序。在实际考场监控的边缘设备中利用TSN双流、3DCNN等结合时空特征的网络很难实现实时的、相对准确的监控任务。提出一种端到端的考场多目标行为识别算法。相对于以提取空间、时序特征并进行融合为主流思想的行为识别算法,利用视频帧以多目标检测和多目标行为识别相结合的行为识别算法在考场环境中更加快速准确。算法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的考场行为视频数据集进行再训练,得到最终的考场行为识别模型,结果表明达到了主流数据集中上水平,并在考场环境中具有良好的高效性与准确性。     

基于双重注意力和3DResNet-BiLSTM行为识别方法

针对利用视频数据进行行为识别容易受到多种动态杂乱背景信息的影响,存在时空特征提取较为困难的问题,提出一种基于双重注意力和3DResNet-BiLSTM混合模型的行为识别方法。利用通道加权融合的方式构建卷积注意力模块并嵌入3DResNet,用于提取原始视频数据中的时空特征,同时对重要特征进行加权和重定义,结合BiLSTM和时间注意力进一步深入提取时序特征,得到自适应特征实现行为识别。利用UCF101和HMDB51公开数据集进行实验,验证了该模型的有效性。     

基于时空特征点的群体异常行为检测算法研究

提出了用时空特征点描述群体行为的新方法。首先对比分析时空Harris角点、Gabor小波、Hessian矩阵三种特征点提取方法,选择了基于Hessian矩阵的尺度不变方法提取特征点;分别采用梯度直方图、光流直方图以及时空Haar特征三种方法对特征点构建描述符。采用Bag-of-words策略对正常行为建模,使用基于EM估计的高斯混合模型建模产生关键词,根据关键词为每一视频片段建立一个带有概率分布的编码向量,形成编码表。异常行为的检测是将测试样本的编码向量与训练样本编码表进行比较,计算相似度距离,当最小距离大于阈值时,判该群体行为异常。在UCF和UMN两种群体行为数据集下的实验结果表明,该方法能够对群体异常行为进行有效识别,对尺度变化以及背景光照变化等具有较好的适应性。     

基于CNN和LSTM混合模型的人体跌倒行为研究

目前深度学习模型不能较好地把监控视频中跌倒行为的空间和时序特征有效结合起来。为此,提出基于CNN（convolutional neural network）和LSTM（long-short term memory）混合模型的人体跌倒行为识别方法。该模型采用两层结构,将视频以每5帧为一组输入到网络中,CNN提取视频序列的空间特征,LSTM提取视频时间维度上的特征,最后使用softmax分类器进行识别。实验表明,该方法可以有效提高跌倒识别的准确率。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。