基于特征融合的动作识别

为解决动作识别问题,本文提出一种基于特征融合的方法。提取视频特征时,同时获得运动特征和表观特征,然后融合这两种特征训练SVM分类器。实验时,在J-HMDB数据集上获得了优异的表现,动作识别的精度可以达到94.8%。     

基于关键姿势的单次学习动作识别

提出基于关键帧技术的单次学习的动作识别方法.首先把样本动作建模为若干关键姿势的集合,然后利用关键帧把测试视频分割为单个动作,最后结合关键姿势相似度的时间加权计算动作匹配概率,进行动作识别.该动作识别方法只通过单次学习,提高了效率.使用标准深度数据库进行实验,实验结果显示了该方法的有效性,尤其在区分差别比较细微的动作方面.     

体育视频中动作识别技术研究综述

随着中国成功举办多项国际体育赛事以及互联网短视频平台的兴起,视频数据呈爆炸式增长,且体育运动越来越受到人们的关注,体育视频中的动作识别成为计算机视觉研究的一大热点问题。本文综述了体育视频中动作识别技术现有应用与研究方法,第一部分回顾了近年来动作识别在体育赛事中的应用现状,将其归纳为辅助判罚、精彩动作集锦、体育新闻自动生成。第二部分总结了体育视频动作识别相关数据集。第三部分回顾了近年来动作识别在体育视频中的实现方法,将其总结为基于传统手工特征的算法和基于深度学习的算法,基于深度学习的算法将其归纳为基于2D模型、基于3D模型、基于双流/多流模型、基于Transformer模型,并总结了各模型的优缺点。最后,讨论了体育视频动作识别的难点与挑战。     

改进的编码-解码时序动作检测算法

时序动作检测作为视频理解中的一项基本任务,被广泛应用于人机交互、视频监控、智能安防等领域.基于卷积神经网络,提出了一种改进的编码-解码时序动作检测算法.改进后的算法分两阶段进行:首先,替换特征提取网络,用残差结构网络提取视频帧的深度特征;之后,构建编码-解码时序卷积网络.采用联接的方式进行特征融合,改进上采样的形式,并...     

基于层级化特征的人体动作识别

人体是非刚性物体,随着人体形状的变化,底层特征也会发生剧烈的改变,如何在剧烈变化的人体动作中发现其不变性是解决人体动作识别问题的关键。提出了一种基于层级化特征的人体动作识别算法。首先,基于Harris3D检测算法从动作视频中提取人体动作的底层特征;之后,根据人体结构对特征进行区域性的划分,并根据区域划分的精细程度得到高,中,低三层特征集合。利用词袋模型对特征点进行统计,使不同层级的特征映射到相同的特征维度空间。最后,使用隐条件随机模型对人体动作进行训练和识别。大量的实验结果也证明了层级化特征在人体动作识别上的稳定性。     

基于时序行为检测的工作流识别

在智能制造环境中,基于动作识别的工作流识别方法难以定位出视频中工作流活动的开始和结束时间.为了从视频中对工作流中的活动进行时序定位,文中对R-C3D网络模型进行改进并提出了一种基于时序行为检测的工作流识别方法.在文中所提出的工作流识别方法中,采用一种随机稀疏采样策略来减少相邻视频帧的冗余,并使用Res3D网络来提取视频...     

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

改进的R-C3D时序行为检测网络

为了提高时序行为检测网络的分类精度和时序上的定位精度,本文提出了一种改进的区域3D卷积神经网络(Region Convolutional 3D Network,R-C3D).在时序候选子网中,通过逐层空间卷积把特征图的高宽由(H/16,W/16)变为(1,1),提高行为的分类精度,通过卷积-反卷积网络(Convolut...     

一种基于加速度特征的可拓动作识别的飞行控制系统的设计

手部动作识别是人机交互的一种新技术,具有广泛的应用价值。本项目以ARM7微处理器为核心,通过三轴加速度和陀螺仪传感器采集手部动作信息,利用一种识别算法,分析获知手部的动作和姿态。再根据不同的手部动作,向从机系统(四旋翼飞行器)发送相应的控制命令,从而实现了通过手部动作来灵活而无死角地控制飞行器的飞行姿态和飞行路径。     

基于多模态的人体动作识别研究

动作识别是计算机视觉领域的重要研究方向.在动作识别的研究中,可以用来识别动作类别的数据模式包括RGB数据、深度图像和骨骼点数据.不同的模态提供不同形式的信息,这些信息很有可能与其他信息互补.在此理论基础上,本文提出了一种基于运动能量的多模态信息互补网络模型架构.该网络同时利用RGB数据提供的丰富的外观特征信息和深度数据...     

基于计算机视觉的人体异常行为识别综述

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支,人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测,再到当前随着神经网络的新发展,深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点,基于该波段的人体行为识别研究开始兴起,它也必将成为人体行为识别领域中一个新的研究热点。     

结合时序注意力机制的多特征融合行人序列图像属性识别方法

目前绝大多数的行人属性识别任务都是基于单张图像的,单张图像所含信息有限,而图像序列中包含丰富的有用信息和时序特征,利用序列信息是提高行人属性识别性能的一个重要途径.本文提出了结合时序注意力机制的多特征融合行人序列图像属性识别网络,该网络除了使用常见的空-时二次平均池化特征聚合和空-时平均最大池化特征聚合提取序列的特征外...     

3D多支路聚合轻量网络视频行为识别算法研究

为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出3D多支路聚合轻量网络行为识别算法.首先,利用分组卷积将神经网络分割成多个支路;其次,为促进支路间信息流动,加入具有信息聚合功能的多路复用模块;最后,引入自适应注意力机制,对通道与时空信息进行重定向.实验表明,本算法在UCF101数据集上的计算成本为11.5GFlops,准确率为96.2%;在HMDB51数据集上的计算成本为11.5GFlops,准确率为74.7%.与其他行为识别算法相比,提高了视频识别网络的效率,体现出一定识别速度和准确率优势.     

基于深度学习的视频中人体动作识别进展综述

视频中的人体动作识别是计算机视觉领域内一个充满挑战的课题.不论是在视频信息检索、日常生活安全、公共视频监控,还是人机交互、科学认知等领域都有广泛的应用.本文首先简单介绍了动作识别的研究背景、意义及其难点,接着从模型输入信号的类型和数量、是否结合了传统特征提取方法、模型预训练三个维度详细综述了基于深度学习的动作识别方法,及比较分析了它们在UCF101和HMDB51这两个数据集上的识别效果.最后分别从视频预处理、视频中人体运动信息表征、模型学习训练这三个角度对未来动作识别可能的发展方向进行了论述.     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。     

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

基于深度信念网络的事件识别

事件识别是信息抽取的重要基础.为了克服现有事件识别方法的缺陷,本文提出一种基于深度学习的事件识别模型.首先,我们通过分词系统获得候选词并将它们分为五种类型.然后选择六种识别特征并制定相应的特征表示规则用来将词转化为向量样例.最后我们通过深度信念网络抽取词的深层语义信息,并由Back-Propagation(BP)神经网络识别事件.实验显示模型最高F值达85.17%.同时,本文还提出了一种融合无监督和有监督两种学习方式的混合监督深度信念网络,该网络能够提高识别效果(F值达89.2%)并控制训练时间(增加27.50%).     

基于深度学习和智能规划的行为识别

现有行为识别方法在未能持续覆盖造成视频监控盲区所引起行为数据缺失的情况,难以有效实施特征分析、行为分类补全,无法准确识别出智能体完整的行为动作序列.为此,本文提出一种基于深度学习和智能规划的行为识别方法.首先,利用深度残差网络对图像进行分类训练,然后使用递归神经网络对图像特征进行提取深度信息以增强分类效果;其次,运用智能规划的STRIPS （Stanford Research Institute Problem Solver）模型,将深度学习提取的图像特征命题信息转化为规划领域的模型描述文档,并使用前向状态空间搜索规划器推导出完整的行为动作序列.在HMDB51等行为识别公共数据集中,本方法与生成式对抗网络、深度卷积逆向图网络、深度信念网络、支持向量机等同类先进方法相比展现出更好的性能.     

基于改进卷积神经网络的交通标志识别方法

针对智能交通系统中小尺度交通标志识别率低的问题,文中提出一种改进卷积神经网络的交通标志识别方法。该方法通过在Faster R-CNN算法的低层特征图上增加优化的RPN网络,提升了小尺度交通标志的检测率。该方法还利用Max Pooling方法实了现图像的局部细节特征与全局语义特征充分融合。在TT-100K数据集上稍微实验结果表明新方法可以明显提高小尺度交通标志的识别率。