基于级联结构的人体动作识别方法

基于视频的人体动作识别是近年来计算机视觉领域备受关注且十分具有挑战性的研究方向,可以应用于人的行为分析,视频监控和人机交互等方面。本文提出了一种基于级联结构的人体动作识别方法:针对Dollar时空兴趣点检测器易受图像噪声、摄像机运动与缩放等因素影响产生伪兴趣点的问题,提出了一种基于轨迹差异度的兴趣点筛选方法,有效避免了引入背景中的伪兴趣点,提高了人体运动特征提取的准确度;采用规范切与mRMR准则对词袋模型生成的特征向量进行自动特征选择,同时建立一个用于分类的级联结构,在识别各类不同动作时选择不同的特征子集,使得分类器使用的特征更具区分性。在KTH人体运动测试集上实验,验证了文中方法能提高动作识别的准确度。     

基于局部特征点方法的动作识别研究

利用局部特征点方法进行视频中的动作识别研究,通过对尺度空间理论以及多种经典的局部特征点检测方法的深入分析,将SIFT算法引入到视频研究领域,提出了一种全新而高效的视频特征点检测算法。在此基础上,设计了合理的机器学习方法对局部特征点进行训练,利用训练出的通用动作模式在视频中进行动作识别。     

基于 ResNeXt 的人体动作识别

人体动作识别是计算机视觉领域的核心研究方向之一,在很多场合都有应用。深 度卷积神经网络在静态图像识别方面已取得了巨大成功,并逐渐扩展到视频内容识别领域,但 应用依然面临很大挑战。为此提出一种基于 ResNeXt 深度神经网络模型用于视频中的人体动作 识别,主要包括：①使用新型 ResNeXt 网络结构代替原有的各种卷积神经网络结构,并使用 RGB 和光流 2 种模态的数据,使模型可充分地利用视频中动作外观及时序信息;②将端到端的 视频时间分割策略应用于 ResNeXt 网络模型,同时将视频分为 K 段实现对视频序列的长范围时 间结构进行建模,并通过测试得到最优视频分段值 K,使模型能更好地区分存在子动作共享现 象的相似动作,解决某些由于子动作相似而易发生的误判问题。通过在动作识别数据集 UCF101 和 HMDB51 上进行的测试表明,该模型和方法的动作识别准确率性能优于目前文献中的一些模 型和方法的性能。     

基于改进信息增益的人体动作识别视觉词典建立

针对词袋（BoW）模型方法基于信息增益的视觉词典建立方法未考虑词频对动作识别的影响,为提高动作识别准确率,提出了基于改进信息增益建立视觉词典的方法。首先,基于3D Harris提取人体动作视频时空兴趣点并利用K均值聚类建立初始视觉词典;然后引入类内词频集中度和类间词频分散度改进信息增益,计算初始词典中词汇的改进信息增益,选择改进信息增益大的视觉词汇建立新的视觉词典;最后基于支持向量机（SVM）采用改进信息增益建立的视觉词典进行人体动作识别。采用KTH和Weizmann人体动作数据库进行实验验证。相比传统信息增益,两个数据库利用改进信息增益建立的视觉词典动作识别准确率分别提高了1.67%和3.45%。实验结果表明,提出的基于改进信息增益的视觉词典建立方法能够选择动作识别能力强的视觉词汇,提高动作识别准确率。     

基于主题隐马尔科夫模型的人体异常行为识别

针对基于监控视频的人体异常行为识别问题,提出了基于主题隐马尔科夫模型的人体异常行为识别方法,即通过无任何人工标注的视频训练集自动学习人体行为模型,并能够应用学到的人体行为模型实时检测异常行为和识别正常行为。这一方法主要围绕"低层视频表示-中层语义行为建模-高层语义分类"3个方面进行:1)基于时-空间兴趣点构建了一种紧凑的和有效的视频表示方法。2)提出一种新颖的语义主题模型(Topic Model,TM)——主题隐马尔科夫模型(Topic Hidden Markov Model,THMM),它能够自然地分组视频中检测到的人体行为。主题隐马尔科夫模型基于已有的马尔科夫模型和主题模型构造,不但聚类运动词汇成简单动作,而且聚类简单动作成全局行为,同时建模了行为时间上的相关性。THMM是一个4层贝叶斯主题模型,它将视频序列建模为行为的马尔科夫链,同时行为是视频序列中某些视频剪辑(Clip)的概率分布;将视频剪辑建模为动作的随机组合,同时动作是视频剪辑中运动词汇的概率分布。克服了传统隐马尔科夫模型和主题模型在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足。3)提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验(Likelihood Ratio Test,LRT)的实时正常行为分类方法,从而克服了实时行为识别过程中由于缺乏充分的视觉证据而引发的行为类型歧义,能完较好地完成监控场景中实时异常行为检测和在线正常行为识别的任务。取自实际监控场景的实验数据集上的实验结果证明了本方法的有效性。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于动作图的视角无关动作识别

针对视角无关的动作识别,提出加权字典向量描述方法和动作图识别模型.将视频中的局部兴趣点特征和全局形状描述有机结合,形成加权字典向量的描述方法,该方法既具有兴趣点抗噪声强的优点,又可克服兴趣点无法识别静态动作的缺点.根据运动捕获、点云等三维运动数据构建能量曲线,提取关键姿势,生成基本运动单元,并通过自连接、向前连接和向后连接3种连接方式构成有向图,称为本质图.本质图向各个方向投影,根据节点近邻规则建立的有向图称为动作图.通过Na?ve Bayes训练动作图模型,采用Viterbi算法计算视频与动作图的匹配度,根据最大匹配度标定视频序列.动作图具有多角度投影和投影平滑过渡等特点,因此可识别任意角度、任意运动方向的视频序列.实验结果表明,该算法具有较好的识别效果,可识别单目视频、多目视频和多动作视频.     

基于机器视觉的足球射门视频图像轨迹跟踪方法

为提高对足球射门视频图像的自动识别和动作纠正能力,提出一种基于机器视觉和特征提取的足球射门视频图像轨迹跟踪方法。通过视觉信息融合和模糊跟踪识别方法进行足球射门视频图像的轨迹线跟踪识别,建立足球射门视频图像的关键动作特征点提取模型,通过空间三维信息融合方法进行机器视觉下的图像信息融合和有效动作特征点检测,结合角点的动态分布特征提取方法,实现足球射门视频图像的相关性动作特征点提取和轨迹跟踪。仿真结果表明,与传统方法相比,采用该方法进行足球射门视频图像轨迹跟踪的准确性最高达到0.8,该方法的准确性较高,特征提取能力较好,提高了足球射门视频图像识别和动作纠正能力。     

动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

视频理解中的动作质量评估方法综述

视频中动作质量的评估指对视频中人物对象的动作质量进行评价,如计算动作质量分数、等级或者不同人物表现的优劣,是视频理解和计算机视觉研究中的一个重要方向。从动作质量分数预测、等级分类以及水平排序3个方面对视频中的动作质量评估方法进行总结,然后对这些方法在目前常用数据集上的表现进行分析,最后讨论未来研究中亟待解决的问题。     

一种基于时空兴趣点的人体动作识别方法

人体动作识别是计算机视觉中一个具有挑战性的课题,同时也具有广阔的应用前景。本文采用基于时空兴趣点的人体运动表示方法,实现了时空兴趣点的检测算法和人体动作识别,解决了检测过程中检测尺度的选择问题,取得了较好的识别结果。与经典的时空兴趣点检测方法相比,这种方法对比较简单的动作更加有效。     

视频侦查中人像智能分析应用及算法优化

人像智能分析指的是对视频或录像中的人像进行结构化和可视化分析,对目标人物进行性别、年龄、发型等特征的智能识别,这项技术在视频侦查中有极高的应用价值。人像识别早期的算法是通过人工提取特征,通过学习低级视觉特征来针对不同属性进行分类学习,这种基于传统方法的模型表现常常不尽如人意。在计算机视觉领域,通过海量图像数据学习的神经网络比传统方法有更丰富的信息量和特征可以被提取。文章尝试通过深度学习技术训练神经网络模型对行人进行检测和识别,对于衣着不同的行人进行智能识别,具有更好的鲁棒性,提升了视频人像识别的准确率,拓展了人工智能技术在身份识别领域的应用。     

基于机器视觉技术的运动动作实时跟踪方法研究

利用机器视觉能代替人眼进行测量和判断,研究基于机器视觉技术的运动动作实时跟踪方法。使用基于机器视觉的运动动作特征提取算法,提取运动视频流中的关键帧,获取其感兴趣区域及其SIFT特征点,根据特征点计算动作图像的特征向量,将其当作AD-DWTAdaBoost算法的输入样本,采用基于AD-DWTAdaBoost的运动动作识别算法辨识样本中的运动动作后,使用改进均值漂移算法实时跟踪目标运动动作。实验结果表明：运动动作特征提取稳定性参数的极值和均值都处于稳定范围;识别不同运动动作所需时间速度倍率最高可达6.16%;各视频帧的中心距离误差基本都保持在15像素以下,并能实时跟踪运动动作。     

基于改进的深度卷积神经网络的人体动作识别方法

针对现有的动作识别算法的特征提取复杂、识别率低等问题,提出了基于批归一化变换(batch normalization)与GoogLeNet网络模型相结合的网络结构,将图像分类领域的批归一化思想应用到动作识别领域中进行训练算法改进,实现了对视频动作训练样本的网络输入进行微批量(mini-batch)归一化处理。该方法以RGB图像作为空间网络的输入,光流场作为时间网络输入,然后融合时空网络得到最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了93.50%和68.32%的准确率。实验结果表明,改进的网络架构在视频人体动作识别问题上具有较高的识别准确率。     

类别敏感的全局时序关联视频动作检测

目的 视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法 动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果 为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方...     

面向多模态自监督特征融合的音视频对抗对比学习

目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法：1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination...     

基于注意力机制的时间分组深度网络行为识别算法

受人脑视觉感知机制启发,在深度学习框架下提出基于注意力机制的时间分组深度网络行为识别算法.针对局部时序信息在描述持续时间较长的复杂动作上的不足,使用视频分组稀疏抽样策略,以更低的成本进行视频级时间建模.在识别阶段引入通道注意力映射,进一步利用全局特征信息和捕捉分类兴趣点,执行通道特征重新校准,提高网络的表达能力.实验表明,文中算法在UCF101、HMDB51数据集上的识别准确率较高.     

基于轨迹分析的行人异常行为识别

提出一种基于轨迹分段主题模型的异常行为检测方法。为了解决跟踪偏差引起的轨迹不连续问题,首先使用模糊聚类算法对所有的轨迹进行全局聚类,然后对每一类轨迹采用分段采样的方式对段内轨迹点使用主题模型LDA进行局部聚类;以最大概率的轨迹点作为视觉单词,每类轨迹表示成一系列视觉单词的集合,在此基础上建立局部隐马尔科夫模型HMM;最后通过轨迹匹配的方法进行异常轨迹识别。在CAVIAR数据库上的实验结果表明,该算法能识别多种异常行为,提高了异常行为检测的准确率。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

模糊加权的高效鲁棒人体动作视频检索

为了提高人体动作视频检索的鲁棒性和效率,提出了一种模糊加权的人体动作视频检索方法。该方法采用3D Harris算子检测视频中的时空兴趣点,提取这些兴趣点的梯度信息,构建特征向量;然后采用模糊聚类方法构建聚类特征向量,提高特征向量的抗干扰能力;接着匹配聚类特征向量中的梯度向量对,构建模糊权重矩阵,计算查询视频与数据库中各个视频的相似度;最后在KTH数据库上进行视频检索实验,结合精确度、召回率和检索耗时三个指标进行评价,证明该方法的性能最优。