基于拉普拉斯分值特征选择的运动捕获数据关键帧提取

针对已有的运动捕获数据关键帧提取方法常常忽略运动数据局部拓扑结构特性问题,提出了一种基于拉普拉斯分值LS特征选择的人体运动数据关键帧提取方法。该方法首先从原始运动数据集中提取两种代表性的特征向量并对其归一化,利用LS算法对组合后的特征向量进行打分和特征权重学习,以获取能够判别性揭示局部运动信息的特征子向量;其次,通过构建综合特征函数并基于极值判别原理,得到初始候选关键帧序列;最后,根据时间阈值约束和姿态相似判别策略,利用改进的k-means算法对候选帧进行聚类筛选,以达到去除冗余关键帧的目的,从而得到最终关键帧序列集合。仿真实验结果表明,该方法提取的关键帧序列具有典型性,能较好地对整体运动捕获数据进行视觉概括。     

预选策略和重建误差优化的运动捕获数据关键帧提取

为了从运动捕获数据中提取关键帧来进行人体动画创作,提出一种以重建误差或压缩率为目标的运动捕获数据关键帧提取方法.该方法将关键帧提取划分为帧预选和基于重建误差优化的精选2个阶段,在第一阶段,对原始动作序列筛选边界姿势作为候选关键帧,使最终关键帧序列具有较强运动类型描述能力;在第二阶段,定义帧消减误差作为关键帧重要性的度量标准,并定义最大重建误差作为关键帧提取过程中的优化目标,同时考虑压缩率目标,精选候选帧获得满足指定重建误差或压缩率要求的最终关键帧集合.实验结果表明,文中方法具有良好的数据压缩效果,能满足实时压缩的需要.     

基于关键帧的三维人体运动检索

提出一种基于关键帧的三维人体运动检索技术.首先采用骨骼夹角作为对原始运动数据的特征表示并提取运动片断关键帧集合,以此作为原始运动片断的特征表示;然后基于所提取关键帧数据在相似运动片断之间具有一致性的特点,在两两关键帧集合之间建立距离矩阵进行相似度匹配.实验结果表明,与现有大多数基于内容的三维人体运动数据检索方法相比,该方法能够取得更好的时间效率且不依赖于任何预先设定的参数,相对于现有基于关键帧的运动检索技术而言,其能够获得更好的检索效果.     

基于混合遗传算法的人体运动捕获数据关键帧提取

为实现基于最佳关键帧集合的人体运动的紧致表示,提出一种遗传算法与单纯形法结合的人体运动捕获数据关键帧提取方法。以重构误差最小化和压缩率最优为目标,定义适应度函数,度量重构运动与原始运动之间的重构误差,通过关节位置和关节速率加权计算,并考虑数据的运动特性。利用背景知识对初始种群的个体进行优化,保证进化的良好基础和种群的多样性。将遗传算法和局部搜索技术结合,提高算法运行效率和求解质量。实验结果表明,该方法能够高效地从运动捕获数据中提取出最优的关键帧集合,较好地满足运动数据的紧致表示,且能高质量重构其它帧。     

四元数样条插值的人体运动数据重构

为了得到平滑的人体动画,提出一种基于四元数的样条插值算法,利用提取的关键帧实现人体运动序列的有效重构。为减少重构误差、加快收敛速度,将已知关键帧集合作为初始条件,通过迭代算法求出样条曲线的控制点集合。利用样条曲线控制点计算贝塞尔曲线控制点,构造贝塞尔样条曲线段,将各段贝塞尔样条曲线段组合,构造一条基于四元数的样条曲线。根据德卡斯特里奥（de Casteljau）算法插值重构人体运动。实验结果表明,该算法在保证执行效率的同时,可得到光滑的插值结果,实现满足视觉要求的人体运动重构。     

重建误差最优化的运动捕获数据关键帧提取

为了实现运动捕获数据的实时压缩,提出一种重建误差最优化的关键帧提取方法.定义重建误差作为关键帧有效性的度量标准;利用帧消减算法得到各消减帧的重建误差,并根据误差大小对消减帧进行排序;最后以消减帧排序为基础计算出重建误差曲线,并依据曲线确定最优压缩率来提取出相应数量的关键帧.实验结果表明,该方法能够高效地从运动捕获数据中提取出具有最优重建误差的关键帧,较好地满足了数据实时压缩的需要.     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于内容代表性评价的关键帧抽取

视频关键帧提取技术是对视频进行摘要来提高视频内容访问效率的一种操作。传统的方法主要采用聚类的方法,未给出可信的关键帧代表性描述。尝试基于图计算算法实现关键帧抽取,该算法可以将一段视频中候选帧及其之间的关系表示成一个相关图,通过各帧间基于相关性对相邻帧的分值分配进行迭代计算,实现候选帧内容代表性评价;并提出了一种高效的帧间相关性计算方法。该方法通过两帧图像的最大稳定颜色区域(maximally stable colour region,MSCR)的匹配情况判定它们的相关性。在测试视频上将该算法与传统算法进行了对比测试,测试的结果验证了该算法的有效性。     

基于不变矩和Mean Shift聚类的视频关键帧提取

随着通信和多媒体技术的迅速发展,检索和浏览海量多媒体数据成为日益迫切的问题.关键帧提取技术在基于内容的视频检索中扮演了重要角色.提取的关键帧有两个主要作用:一是用它来静态表示视频的主题;其二是希望从关键帧中提取特征数据,作为多媒体数据库的数据源.以视频场景中运动目标的不变矩为特征提出了一种基于非监督聚类的关键帧提取算法.首先在视频序列中分离出运动目标,然后计算运动目标区域的各阶不变矩,并以不变矩向量作为特征,运用Mean Shift算法聚类有相似特征的视频帧,进而在每类中选取有代表性的视频帧作为关键帧.不同场景下的实验结果证实了本算法的可行性.     

一种视频序列的拼接算法

提出了一种视频序列的拼接算法。首先在同一镜头下的视频序列中提取若干关键帧,利用关键帧拼接表示序列的拼接;其次利用光流场算法计算出的运动位移量引导相邻关键帧间特征点的匹配,并结合随机抽样一致性（RANSAC）鲁棒估计算法和单映矩阵的级联性,得到相邻关键帧、非相邻关键帧间的对应矩阵;最后通过融合实现了序列的无缝拼接。实验验证了这种方法的有效性。     

基于分级关键帧筛选的RGB-D SLAM算法研究

利用关键帧求解SLAM算法(simultaneous localization and mapping)能够提高SLAM系统的实时性与精确度。针对现存关键帧筛选算法中存在的计算复杂度高、图像帧冗余以及鲁棒性较差等问题,提出一种分级关键帧筛选方法。该算法考虑了SLAM系统在不同运行阶段时对关键帧的要求,首先结合旋转度指数与地图点跟踪筛选出一级关键帧用于后端优化与回环检测,再利用相邻帧在空间上的相对运动距离筛选出二级关键帧用于三维地图构建,最后,实现了基于此二级筛选算法的RGB-D SLAM系统。实验表明,一级关键帧算法能提高SLAM系统的定位和建图精度,二级关键帧算法则有效减少了数据冗余,提高了建图效率。     

人体运动捕捉及运动控制的研究

在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的关键技术,包括摄像机标定、标记点跟踪和三维重建技术。无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维重建。基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用。论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息。     

An animation bilateral filter for slow-in and slow-out effects

In this paper, we introduce a method that endows a given animation signal with slow-in and slow-out effects by using a bilateral filter scheme. By modifying the equation of the bilateral filter, the method applies reparameterization to the original animation trajectory. This holds extreme poses in the original animation trajectory for a long time, in such a way that there is no distortion or loss of the original information in the animation path. Our method can successfully enhance the slow-in and slow-out effects for several different types of animation data: keyframe and hand-drawn trajectory animation, motion capture data, and physically-based animation by using a rigid body simulation system.     

Human motion capture data retrieval based on semantic thumbnail

We present a method for the efficient retrieval and browsing of immense amounts of realistic 3D human body motion capture data. The proposed method organizes motion capture data based on statistical K-means (SK–means), democratic decision making, unsupervised learning, and visual key frame extraction, thus achieving intuitive retrieval by browsing thumbnails of semantic key frames. We apply three steps for the efficient retrieval of motion capture data. The first is obtaining the basic type clusters by clustering motion capture data using the novel SK-means algorithm, and after which, immediately performing character matching. The second is learning the retrieval information of users during the retrieval process and updating the successful retrieval rate of each data; the search results are then ranked on the basis of successful retrieval rate by democratic decision making to improve accuracy. The last step is generating thumbnails with semantic generalization, which is conducted by using a novel key frame extraction algorithm based on visualized data analysis. The experiment demonstrates that this method can be utilised for the efficient organization and retrieval of enormous motion capture data.     

人体运动视频关键帧优化及行为识别

在行为识别过程中,提取视频关键帧可以有效减少视频索引的数据量,从而提高 动作识别的准确性和实时性。为提高关键帧的代表性,提出一种关键帧序列优化方法,并在此 基础上进行行为识别。首先根据3D 人体骨架特征利用K-均值聚类算法提取人体运动视频序列 中的关键帧,然后根据关键帧所在序列中的位置进行二次优化以提取最优关键帧,解决了传统 方法中关键帧序列冗余等问题。最后根据最优关键帧利用卷积神经网络(CNN)分类器对行为视 频进行识别。在Florence3D-Action 数据库上的实验结果表明,该方法具有较高的识别率,并且 与传统方法相比大幅度缩短了识别时间。     

An interactive data-driven driving simulator using motion blending

Compared to the motion equations the data-driven method can simulate reality from sampling of real motions but real-time interaction between a user and the simulator is problematic. Existing data-driven motion generation methods simply record and replay the motion of the vehicle. Character animation technology enables a user to control motions that are generated by a motion capture database and an appropriate motion control algorithm. We propose a data-driven motion generation method and implement a driving simulator by adapting the method of motion capture. The motion data sampled from a real vehicle are transformed into appropriate data structures called motion blocks, and then a series of motion blocks are saved into the motion database. During simulation, the driving simulator searches for and synthesizes optimal motion blocks from the motion database and generates motion streams that reflect the current simulation conditions and parameterized user demands. We demonstrate the proposed method through experiments with the driving simulator.     

面向Kinect运动数据的鲁棒足迹检测

目的 Kinect可实时获取运动数据且较传统的运动捕捉设备采集成本低廉,在运动数据捕捉方面得到了广泛应用。但Kinect获取的运动数据精度较低,现有运动数据处理算法难以适用。方法 针对运动数据处理的关键步骤足迹检测问题,提出面向Kinect运动数据的鲁棒足迹检测算法。首先使用自适应的双边滤波算法降低Kinect运动数据中的噪声;其次定义多种脚部运动特征并用于分类,优化分类效果;最后使用支持向量机(SVM)算法训练决策函数并用于足迹检测。结果 本文算法应用于多种类型运动数据后,可以有效地减少Kinect运动数据中的噪声,足迹检测的时间性能以及准确性良好,其中足迹检测的准确率比经典的基准线方法提高了10%左右,比K近邻方法提高了8%左右,检测一帧运动足迹的速度为K近邻方法的7倍左右。结论 对实验结果的分析证明算法具有良好的鲁棒性、时间性能以及准确率,可广泛应用于运动数据的处理之中。