基于帧间距的运动关键帧提取

运动捕获数据中有大量的冗余数据,不利于运动数据的压缩、存储、检索以及进一步重用。为此,提出一种基于帧间距的运动关键帧提取方法,提取代表运动捕获数据内容的关键姿势。利用四元数之间的距离表示人体姿态差异,将人体各个关节上的总变化作为帧间距,以运动数据首帧作为第一个关键帧。通过不断计算当前帧同最后一个关键帧之间的差异,消除差异小于阈值的帧,差异超过阈值的帧被当作为新关键帧。对提取关键帧集合采用四元数球面插值方法重构。为表现人体运动特征,在重构误差中引入关节速度分量,用人体姿势误差位置与人体关节运动速率之和表示原始运动与重建运动序列之间的重构误差。实验结果表明,该方法对原始运动既有较高的压缩率,又有较强的视觉概括效果。     

基于拉普拉斯分值特征选择的运动捕获数据关键帧提取

针对已有的运动捕获数据关键帧提取方法常常忽略运动数据局部拓扑结构特性问题,提出了一种基于拉普拉斯分值LS特征选择的人体运动数据关键帧提取方法。该方法首先从原始运动数据集中提取两种代表性的特征向量并对其归一化,利用LS算法对组合后的特征向量进行打分和特征权重学习,以获取能够判别性揭示局部运动信息的特征子向量;其次,通过构建综合特征函数并基于极值判别原理,得到初始候选关键帧序列;最后,根据时间阈值约束和姿态相似判别策略,利用改进的k-means算法对候选帧进行聚类筛选,以达到去除冗余关键帧的目的,从而得到最终关键帧序列集合。仿真实验结果表明,该方法提取的关键帧序列具有典型性,能较好地对整体运动捕获数据进行视觉概括。     

人体运动视频关键帧优化及行为识别

在行为识别过程中,提取视频关键帧可以有效减少视频索引的数据量,从而提高 动作识别的准确性和实时性。为提高关键帧的代表性,提出一种关键帧序列优化方法,并在此 基础上进行行为识别。首先根据3D 人体骨架特征利用K-均值聚类算法提取人体运动视频序列 中的关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,解决了传统 方法中关键帧序列冗余等问题。最后根据最优关键帧利用卷积神经网络(CNN)分类器对行为视 频进行识别。在Florence3D-Action 数据库上的实验结果表明,该方法具有较高的识别率,并且 与传统方法相比大幅度缩短了识别时间。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

深度时空能量特征表示下的人体行为识别

目的 利用深度图序列进行人体行为识别是机器视觉和人工智能中的一个重要研究领域,现有研究中存在深度图序列冗余信息过多以及生成的特征图中时序信息缺失等问题。针对深度图序列中冗余信息过多的问题,提出一种关键帧算法,该算法提高了人体行为识别算法的运算效率;针对时序信息缺失的问题,提出了一种新的深度图序列特征表示方法,即深度时空能量图（depth spatial-temporal energy map,DSTEM）,该算法突出了人体行为特征的时序性。方法 关键帧算法根据差分图像序列的冗余系数剔除深度图序列的冗余帧,得到足以表述人体行为的关键帧序列。DSTEM算法根据人体外形及运动特点建立能量场,获得人体能量信息,再将能量信息投影到3个正交轴获得DSTEM。结果 在MSR_Action3D数据集上的实验结果表明,关键帧算法减少冗余量,各算法在关键帧算法处理后运算效率提高了20% 30%。对DSTEM提取的方向梯度直方图（histogram of oriented gradient,HOG）特征,不仅在只有正序行为的数据库上识别准确率达到95.54%,而且在同时具有正序和反序行为的数据库上也能保持82.14%的识别准确率。结论 关键帧算法减少了深度图序列中的冗余信息,提高了特征图提取速率;DSTEM不仅保留了经过能量场突出的人体行为的空间信息,而且完整地记录了人体行为的时序信息,在带有时序信息的行为数据上依然保持较高的识别准确率。     

基于LSTM神经网络的人体动作识别

人体动作识别为人机合作提供了基础支撑,机器人通过对操作者动作进行识别和理解,可以提高制造系统的柔性和生产效率.针对人体动作识别问题,在三维骨架数据的基础上,对原始三维骨架数据进行平滑去噪处理以符合人体关节点运动的平滑规律;构建了由静态特征和动态特征组成的融合特征用来表征人体动作;引入了关键帧提取模型来提取人体动作序列中...     

数据驱动人体动画的关键帧技术研究综述

基于关键帧技术的运动捕获数据驱动人体动画,因其捕获的数据具有高度逼真性和实时处理能力使之成为应用广泛的人体动画方法。对现有基于运动捕获数据的3维人体动画关键帧技术进行了系统分析和阐述,介绍了运动捕获数据及其表现形式,从捕获数据的角度分析并比较了基于自适应采样的关键帧提取技术、基于运动速度控制的关键帧插值技术及基于运动特征和运动模型的关键帧检索技术,对3维人体运动关键帧技术中的难点问题及进一步研究方向进行了展望。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

预选策略和重建误差优化的运动捕获数据关键帧提取

为了从运动捕获数据中提取关键帧来进行人体动画创作,提出一种以重建误差或压缩率为目标的运动捕获数据关键帧提取方法.该方法将关键帧提取划分为帧预选和基于重建误差优化的精选2个阶段,在第一阶段,对原始动作序列筛选边界姿势作为候选关键帧,使最终关键帧序列具有较强运动类型描述能力;在第二阶段,定义帧消减误差作为关键帧重要性的度量标准,并定义最大重建误差作为关键帧提取过程中的优化目标,同时考虑压缩率目标,精选候选帧获得满足指定重建误差或压缩率要求的最终关键帧集合.实验结果表明,文中方法具有良好的数据压缩效果,能满足实时压缩的需要.     

基于傅立叶描述子的步态识别

提出了基于傅立叶描述子的步识别方法。用背景差方法得到运动人体的轮廊,通过步态周期分析提取步态序列的关键帧。利用傅立叶描述子处理关键帧的轮廊线序列,并进行数据维数压缩,得到匹配模板。用最近邻近法进行分类和识别。应用上述方法在Soton步态数据库上进行了实验,结果表明所提的步态识别方法具有罗高的识别性能。