动作识别中局部时空特征的运动表示方法研究

近年来,基于局部时空特征的运动表征方法已被越来越多地运用于视频中的动作识别问题,相关研究人员已经提出了多种特征检测和描述方法,并取得了良好的效果。但上述方法在适应摄像头移动、光照以及穿着变化等方面还存在明显不足。为此,提出了基于时空兴趣点局部时空特征的运动表示方法,实现了基于时空单词的动作识别。首先采用基于Gabor滤波器和Gaussian滤波器相结合的检测算法从视频中提取时空兴趣点,然后抽取兴趣点的静态特征、运动特征和时空特征,并分别对运动进行表征,最后利用基于时空码本的动作分类器对动作进行分类识别。在Weizmann和KTH两个行为数据集进行了测试,实验结果表明：基于时空特征的运动表示能够更好地适应摄像头移动、光照变化以及施动者的穿着和动作差异等环境因素的影响,取得更好的识别效果。     

运动特征激励的无候选框视频描述定位

目的 视频描述定位是视频理解领域一个重要且具有挑战性的任务,该任务需要根据一个自然语言描述的查询,从一段未修剪的视频中定位出文本描述的视频片段。由于语言模态与视频模态之间存在巨大的特征表示差异,因此如何构建出合适的视频—文本多模态特征表示,并准确高效地定位目标片段成为该任务的关键点和难点。针对上述问题,本文聚焦于构建视频—文本多模态特征的优化表示,提出使用视频中的运动信息去激励多模态特征表示中的运动语义信息,并以无候选框的方式实现视频描述定位。方法 基于自注意力的方法提取自然语言描述中的多个短语特征,并与视频特征进行跨模态融合,得到多个关注不同语义短语的多模态特征。为了优化多模态特征表示,分别从时序维度及特征通道两个方面进行建模： 1）在时序维度上使用跳连卷积,即一维时序卷积对运动信息的局部上下文进行建模,在时序维度上对齐语义短语与视频片段; 2）在特征通道上使用运动激励,通过计算时序相邻的多模态特征向量之间的差异,构建出响应运动信息的通道权重分布,从而激励多模态特征中表示运动信息的通道。本文关注不同语义短语的多模态特征融合,采用非局部神经网络（non-local neural network）建模不同语义短语之间的依赖关系,并采用时序注意力池化模块将多模态特征融合为一个特征向量,回归得到目标片段的开始与结束时刻。结果 在多个数据集上验证了本文方法的有效性。在Charades-STA数据集和ActivityNet Captions数据集上,模型的平均交并比（mean intersection over union,mIoU）分别达到了52.36%和42.97%,模型在两个数据集上的召回率R@1 （Recall@1）分别在交并比阈值为0.3、0.5和0.7时达到了73.79%、61.16%和52.36%以及60.54%、43.68%和25.43%。与LGI （local-global video-text interactions）和CPNet （contextual pyramid network）等方法相比,本文方法在性能上均有明显的提升。结论 本文在视频描述定位任务上提出了使用运动特征激励优化视频—文本多模态特征表示的方法,在多个数据集上的实验结果证明了运动激励下的特征能够更好地表征视频片段和语言查询的匹配信息。     

运动目标特征抽取方法探讨

此文介绍几种运动目标特征抽取方法,重点介绍了抽取运动目标的形状特征、运动特征和频率反射特征的物理意义及其数学模型.本文还给出了基于红外图象形状特征和运动特征的运动目标跟踪实验结果,实验结果表明此文所述特征抽取方法的抗噪声能力强,具有较好的识别跟踪效果.     

基于特征关联的视频中群体人物行为语义抽取

为解决视频中群体人物行为语义抽取中群体人物相互遮挡、追踪困难等问题,构建一种基于特征关联的视频中群体行为人物语义抽取算法。该算法首先对视频帧提取多尺度融合特征图,通过特征图检测视频帧中可能存在的人物,利用去重算法筛除检测到的重复人物,精准定位群体人物边界框;接着预测群体人物特征掩码,通过比对相邻视频帧人物特征掩码的差异度追踪群体人物的运动轨迹;最后结合群体人物的运动轨迹推理每帧视频帧的群体人物行为语义,根据群体人物行为特点抽取视频群体人物行为语义。实验结果表明,该算法能够准确提取、定位群体人物的动态线索,解决群体人物复杂时空关系导致的语义抽取低效问题,有效地提高群体人物语义抽取的准确率和鲁棒性。     

一个有效的基于运动的视频检索系统

在视频摄取的过程中,摄象机的运动在某种程度上反映了当前视频的部分语义特征,所以通过对摄象机运动的提取能够更好地实现对视频的浏览以及基于内容的检索。针对以上应用,本文提出了一种用运动矢量的分布来提取摄相机运动的方法,测试后表明,该方法能有效地分析出多种相机运动并具有较好的鲁棒性。同时我们以此为基础实现了一个基于相机运动的视频检索系统。     

基于时空运动特征的运动姿态视频检索方法

提出了一种人体运动姿态视频检索的新方法,整体算法分为典型姿态学习和姿态检索两个阶段。首先提取样本库中人体姿态的时空运动特征点作为姿态运动底层特征,一个姿态对应一个时空特征点集合;计算每个特征点的时空三维邻域中像素的梯度,进而为每个姿态建立一个梯度直方图;其次,采用非监督的聚类方法对姿态样本归类,按照语义要求提取多个典型姿态;最后,用基于EM的高斯混合模型对聚类结果建模,形成典型姿态检索的分类器,完成姿态建模的的学习阶段。运动姿态的视频检索是根据最大概率匹配准则,对输入的测试视频进行姿态匹配,从而实现基于语义的姿态检索。基于Weizmann和KTH标准测试视频库的大量实验结果表明,本文提出的方法能够准确有效地检索人体运动姿态。     

面向内容的三维人体运动检索技术研究综述

三维人体运动数据检索技术是计算机动画领域的研究热点,系统分析了当前基于内容的三维人体运动数据检索技术的研究现状。分析比较了基于运动数值特征、基于运动能量特征和基于语义信息特征三种运动数据的特征表示方法;从局部相似性度量和全局相似性判断两个角度阐述了运动相似性匹配算法;总结目前基于内容的人体运动数据检索技术中存在的问题,探讨了未来开展基于语义的检索技术所需的工作。     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

基于全局运动估计的视频对象分割算法

视频全局运动(摄像机运动)所表现的视频序列之间的时间相关性,较其它视频特征更能表达视频序列的高层语义信息.为了能够有效快速的得到视频的全局运动,通过对视频运动估计方法的研究,提出了一种新的基于奇异值分解(SVD)的视频全局运动估计算法.该方法首先通过块匹配法得到局部运动场,利用矩阵的奇异值分解估计全局运动参数,然后运用形态学运动滤波得到前景运动目标的粗略掩摸图像,最后综合利用此掩摸图像和边缘信息分割出运动目标.试验表明,提出的算法能够分割出具有全局运动特征的视频序列中的运动目标.     

基于混合模型的事件触发词抽取

事件结构性语法特征与事件语义特征各有优势,二者融合利于准确表征事件触发词,进而有利于完成事件触发词抽取任务。现有的基于特征、基于结构及基于神经网络模型等的抽取方法仅能捕捉事件的部分特征,不能够准确表征事件触发词。为解决上述问题,提出一种融合了事件结构性语法特征和事件语义特征的混合模型,完成事件触发词抽取任务。首先,在初始化向量模型中融入句子的依存句法信息,使初始向量中包含事件结构性语法特征;然后,将初始向量依次传入神经网络模型中的CNN和BiGRU-E-attention模型中,在捕获多维度事件语义特征的同时,完成事件结构性语法特征与事件语义特征的融合;最后,进行事件触发词的抽取。在CEC中文突发语料库上进行事件触发词位置识别和分类实验,该模型的F值较基准模型的分别提高了0.86%和4.07%;在ACE2005英文语料库上,该模型的F值较基准模型的分别提高了1.4%和1.5%。实验结果表明,混合模型在事件触发词抽取任务中取得了优异的效果。     

视频运动特征提取模块的实现

基于内容的视频检索为人们检索具有相似内容的视频数据提供了新的手段,而运动信息作为视频内容中的一种特有信息,是视频检索领域研究关键问题之一.通过对运动特征提取算法进行研究,设计并实现了一个实用的全局运动特征和局部运动特征提取模块.实验表明：该模块能够有效地分割全局运动与局部运动,提取的运动特征信息可作为基于内容的视频相似检索系统的重要索引.     

基于非线性流形学习的3维人体运动合成

为了实现3维人体运动的有效合成,提出了一种基于非线性流形学习的3维人体运动合成框架及算法,并可应用于方便、快捷、用户可控的3维人体运动合成。该合成算法框架先采用非线性流形降维方法将高维运动样本映射到低维流形上,同时求解其本征运动语义参数空间的表达,然后将用户在低维运动语义参数空间中交互生成的样本通过逆向映射重建得到具有新运动语义特征的3维运动序列。实验结果表明该方法不仅能够对运动物理参数（如特定关节的运动位置、物理运动特征）进行较为精确的控制,还可用于合成具有高层运动语义（运动风格）的新运动数据。与现有运动合成方法比较,该方法具有用户可控、交互性强等优点,能够应用于常见3维人体运动数据的高效生成。     

基于压缩域的关键帧快速提取方法

关键帧提取技术是基于内容检索和视频分析的基础。关键帧的使用减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架。首先介绍了目前的关键帧提取技术,然后提出了一种基于运动特征利用模糊推理算法从MPEG视频流中提取关键帧的方法。由于处理过程是直接从MPEG的压缩视频提取,不需对其解压,所以计算复杂度低,提高了提取速度。实验证明该方法效率高,可以比较好地代表视频内容。     

面向视频语义分析的局部敏感的可鉴别稀疏表示

视频语义分析已经成为人们研究的热点。在传统稀疏表示方法中,相似视频特征未必能产生相近稀疏表示结果。在基于稀疏表示的视频语义分析中,假定相似的视频数据样本的稀疏表示也相似,即两个相似视频特征的稀疏系数之间的距离较小。为了提高视频语义分析的准确性,基于该假设提出一种面向视频语义分析的局部敏感的可鉴别稀疏表示方法。该方法在局部敏感稀疏表示中引入基于稀疏系数的鉴别损失函数,优化构建稀疏表示的字典,使稀疏表示特征满足类内离散度小、类间离散度大的Fisher准则,并建立可鉴别稀疏模型。为验证所提方法的有效性,在相关视频数据库中将其与多种算法进行对比,实验结果表明,该方法显著地提高了视频特征稀疏表示的鉴别性,有效地提高了视频语义分析的准确性。     

一种基于运动的视频层次化分析框架

运动信息是视频中最重要的特征之一.本文提出了一种新颖的基于运动的视频层次化分析框架.为了揭示视频流中的运动关系和在拍摄过程摄像机的运动信息即拍摄者的兴趣所在,提出了视频层次化结构来对视频流进行描述和检索.该运动层次化结构引入一个新的概念:基本运动单元(Basic Motion Unit,BMU).BMU反映的是MPEG-7中定义的基本摄像机操作,这样就可以把视频分割成BMU的集合.在BMU的基础上发现并挖掘出视频流中潜在的运动语义模式,最后根据运动活力(Motion Activity)将BMU聚类为运动节奏快慢的运动活力单元(Motion Activity Unit,MAU).该基于运动的视频分析框架不仅能够直观地捕获视频流在拍摄过程中拍摄者的注意力,而且为视频流的快速浏览和检索提供了新的思路.     

基于视皮层V1模型的随机点视频序列运动特征提取

针对复杂场景中视频序列目标运动特征提取困难的问题,借鉴生物视觉系统对视频动态目标的运动感知机制,改进初级视皮层(V1)细胞模型,提出一种基于生物视皮层机制的视频运动特征提取方法。采用时空滤波器与半平方加归一化分别模拟神经元感受野的线性与非线性特性,再通过在输出权值中加入方向选择性调节参数得到普适性的V1细胞模型,从而解决传统模型方向选择性单一、多方向选择能力偏弱的问题。仿真结果表明所提模型模拟输出与生物实验数据较为吻合,能够模拟不同方向选择性的V1细胞,对复杂运动形态的随机点视频序列具有良好的运动特征提取能力。依靠该方法可以为处理特征光流信息提供新的思路,进而实现对视频序列目标的运动特征提取和有效跟踪。     

视频烟雾检测研究进展

目的 视频烟雾检测具有响应速度快、不易受环境因素影响、适用面广、成本低等优势,为及早预警火灾提供有力保障。近年涌现大量视频检测方法,尽管检测率有所提升,但仍受到高误报率和高漏报率的困扰。为了全面反映视频烟雾检测的研究现状和最新进展,本文重点针对2014年至2017年国内外公开发表的主要文献,进行全面的梳理和分析。方法 该工作建立在广泛文献调研的基础上,立足于视频烟雾检测的基本框架,围绕视频图像预处理、疑似烟区提取、烟雾特征描述、烟雾分类识别等处理阶段,系统地对最新文献进行分析和总结。此外,对区别于传统框架的深度学习检测方法亦进行了相关归纳。结果 重点依据烟雾运动特征和烟雾静态特征这两类,对疑似烟区提取方法进行梳理;从统计量特征、变换域特征和局部模式特征3个方面对烟雾特征描述方法进行梳理,并从颜色、形状等七个角度进行总结;从基于规则和基于学习这两个视角,梳理烟雾识别和决策方法;最后,对于基于深度学习的方法单独进行了阐述。文献通过系统地梳理,凝练出视频烟雾检测近几年取得的进展和尚存在的不足,并对视频烟雾检测发展前景进行展望。结论 针对视频烟雾检测的研究一直备受青睐,越来越多性能优秀的检测算法不断涌现。通过对现有研究进行全面梳理和系统分析,期望视频烟雾检测能取得更大的进展并更好地应用于工业领域,为火灾预警提供更有力的保障。