一种高效的三维运动检索方法

随着运动捕获设备的普及,大量的运动数据可以直接得到,从而使得大规模的运动数据库的建立成为可能.在此背景下,研究以检索为核心的运动捕获数据处理技术就显得十分重要了.本文提出了一种对运动捕获数据中的人体的各个关节点提取一种基于三维空间变换规律的3D时空特征的方法,并基于时空运动连续性引入了关键空间的概念.针对各关节点时空特征相对保持独立的特性,本文用每个关节点作为索引,并通过数据驱动决策树的学习方法去分析关节点对运动相似的不同影响,最终实现了一个高效的运动检索系统.     

基于集成多示例学习决策树分析的三维运动检索

随着运动捕获设备的普及,大量的运动数据可以直接得到,从而使得大规模的运动数据库的建立成为可能.在此背景下,研究以检索为核心的运动捕获数据处理技术就显得十分重要了.提出了一种对运动捕获数据中的人体的各个关节点提取一种基于三维空间变换规律的三维空间特征的方法,并基于空间运动连续性引入了关键空间的概念.针对各关节点空间特征相对保持独立的特性,用每个关节点作为索引,并通过集成学习的多示例决策树的学习方法去分析关节点对运动相似的不同影响,最终实现了一个高效的运动检索系统.     

一种基于时空运动信息交互建模的三维人体姿态估计方法

三维人体姿态估计在虚拟现实和人机交互等领域具有重要作用。近年来,Transformer已被引入三维人体姿态估计领域,用于捕捉人体关节点的时空运动信息。然而,现有研究通常只关注于人体关节点群的整体运动,或只对单独的人体关节点运动进行建模,均没有深入地探讨每个关节点的独特运动模式及不同关节点运动间的相互影响。因此,提出了一种创新的方法,旨在细致地学习每帧中的二维人体关节点的空间信息,并对每个关节点的特定运动模式进行深入分析。通过设计一个基于Transformer编码器的运动信息交互模块,精确地捕捉不同关节点之间的动态运动关系。相较于已有直接对人体关节点的整体运动进行学习的模型,此方法能够使得预测精度提高约3%。与注重单节点运动的最先进MixSTE模型相比,该模型在捕捉关节点的时空特征方面更为高效,推理速度实现了20%以上提升,使其更适合于实时推理的场景。     

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络（GCN）日益成为三维人体姿态估计（3D HPE）的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块（MDC）和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法（WMDGCN）。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用（超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略）,从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。     

基于人体行为模型的跌倒行为检测方法

随着移动互联网的广泛应用, 智慧社区等一系列移动互联应用等得到人们的重视, 特别是以居家养老的老年人防跌倒检测备受关注. 针对目前老年人跌倒没有及时得到检测报警, 从而无法及时救助, 进而产生更严重的安全性的问题, 本文提出了一种跌倒检测方法. 本文提出的方法首先对特定人体进行扫描, 利用人体建模工具poser构建出人体模型, 在运动过程中根据关节点位置将二维坐标映射出相应的三维坐标并通过节点位置预测算法对映射后的三维坐标进行关节点位置预测, 然后将预测后的子关节聚合到父类三维空间坐标轴中并预测出父类关节点的运动状态, 当子关节点与父关节点预测结果同时处于跌倒状态, 则判断人体所处于跌倒状态. 由于所建立的运动模型在运动特征上具有较高的真实性, 以此获取关节点的数据变化真实可靠. 经过大量的实验数据表明, 本文提出的跌倒检测方法可以精准实时反应运动状态, 检测准确率为99%, 由此可见本文提出的方法应用于跌倒检测是有效并可靠的.     

三维人手关节点的提取研究

近年来,以计算机为载体的人机交互愈发成为人们日常生活中的一个重要组成部分,人手作为仅次于语言的交流方式,有着不可或缺的作用,在人机交互中作为主要媒介有着重要的研究价值;针对在三维手势的多样性问题,在关节点的提取上基于特征匹配提出了一种新的关节点提取研究方法:跨维匹配-即二维数据与三维数据之间的匹配;在立体视觉手势交互的基础上,算法首先用kinect相机采集带有关节点标记的彩色图像和三维点云,然后通过特征点提取,获得手势点云指尖部分的坐标,最后进行匹配得到手势关节点的三维坐标;实验表明采用该方法来提取人手的关节点是可行的,并且在手势关节点的提取效果上也很精确,对研究手势的多样性有着非常重要的作用。     

基于LSTM神经网络的人体动作识别

人体动作识别为人机合作提供了基础支撑,机器人通过对操作者动作进行识别和理解,可以提高制造系统的柔性和生产效率.针对人体动作识别问题,在三维骨架数据的基础上,对原始三维骨架数据进行平滑去噪处理以符合人体关节点运动的平滑规律;构建了由静态特征和动态特征组成的融合特征用来表征人体动作;引入了关键帧提取模型来提取人体动作序列中...     

基于复合时空特征的人体行为识别方法

为了有效地表征人体行为中的姿势信息和运动信息,提高行为识别算法的准确率,提出一种融合三维方向梯度直方图特征与光流直方图特征的复合时空特征,并利用其进行人体行为识别.首先采用复合时空特征综合描述三维时空局部区域的像素分布和像素变化;然后构建复合时空特征词典,并根据该特征词典完成对人体行为序列特征集合的描述;最后采用主题模型构建人体行为识别算法,对行为序列中提取的复合时空特征进行分类,实现人体行为的识别.实验结果表明:该方法能有效地提高人体行为识别准确率.     

单目视频中人体三维运动的迭代优化估计

提出并实现了一种从单目视频流中重建人体三维运动的方法．该方法通过交互定制得到个性化的人体骨架模型和视频序列每一帧中人体各关节点的二维坐标后,分别针对单帧和连续多帧进行优化并迭代求解,得到每一帧的比例因子的最优解;最后反求各关节点的三维坐标,重建人体三维运动序列．对包含复杂和快速多变的人体运动的视频进行的实验表明,该方法简单有效,适用于包括体育、影视等在内的实际视频源．     

RGBD人体行为识别中的自适应特征选择方法

目前在RGBD视频的行为识别中,为了提高识别准确率,许多方法采用多特征融合的方式。通过实验分析发现,行为在特定特征上的分类效果好,但是多特征融合并不能体现个别特征的分类优势,同时融合后的特征维度很高,时空开销大。为了解决这个问题,提出了RGBD人体行为识别中的自适应特征选择方法,通过随机森林和信息熵分析人体关节点判别力,以高判别力的人体关节点的数量作为特征选择的标准。通过该数量阈值的筛选,选择关节点特征或者关节点相对位置作为行为识别特征。实验结果表明,该方法相比于特征融合的算法,行为识别的准确率有了较大提高,超过了大部分算法的识别结果。     

基于改进的数据驱动决策树分析的3维人体运动检索

随着大量3维人体运动捕获数据库的出现,使得如何对人体运动数据进行高效分析和处理,从而有效利用运动捕获数据库成为一个新的挑战。为了高效地进行3维人体运动检索,首先通过从人体运动中提取一种基于3维空间变换特征规律的空间变换特征和运动的一些关键的时间特性来得到人体运动的3维时序特征;然后针对不同的训练需求,通过改进的数据驱动决策树的学习方法来分析关节点对运动相似的不同影响,并在检索过程中按照不同影响程度依次对关键点进行相似度计算;最终实现了一个高效的运动检索仿真系统。     

基于非线性流形学习的3维人体运动合成

为了实现3维人体运动的有效合成,提出了一种基于非线性流形学习的3维人体运动合成框架及算法,并可应用于方便、快捷、用户可控的3维人体运动合成。该合成算法框架先采用非线性流形降维方法将高维运动样本映射到低维流形上,同时求解其本征运动语义参数空间的表达,然后将用户在低维运动语义参数空间中交互生成的样本通过逆向映射重建得到具有新运动语义特征的3维运动序列。实验结果表明该方法不仅能够对运动物理参数（如特定关节的运动位置、物理运动特征）进行较为精确的控制,还可用于合成具有高层运动语义（运动风格）的新运动数据。与现有运动合成方法比较,该方法具有用户可控、交互性强等优点,能够应用于常见3维人体运动数据的高效生成。     

视频语义分析运动特征表征与抽取技术研究

视频运动特征蕴含丰富的语义信息,运动特征的简洁表征方式和高效抽取方法研究是视频语义分析的关键技术之一。针对视频语义分析的特点,将运动特征分为3类,分别对各类运动特征进行表征和抽取。相关抽取实验证明此方法可有效抽取语义分析所需的运动特征,同时在运动特征抽取的基础上实现了基于运动的视频语义分析原型系统。     

视频中不完全运动特征的跟踪算法

在基于视频的人体运动捕获中，常用的特征跟踪算法对光照条件、图像噪音等非常敏感，而且不规则运动常使特征点或重叠、或自遮挡、或从视域中消失，给视频中运动特征跟踪带来很大的困难．为了有效地跟踪这些不完全运动的特征，提出一种有效的特征跟踪算法．实验结果表明，该方法不但能快速、精确地跟踪孤立特征，而且能有效地解决视频序列中存在较大噪音和不完全运动特征的跟踪问题．     

基于时空注意的毫米波雷达人体活动识别网络

为了解决传统方式利用摄像头进行人体活动识别抗干扰性差以及侵犯用户隐私的问题,提出一种基于时空注意的毫米波雷达3D点云数据的人体活动识别网络,以实现智能应用上下文的准确感知。该网络首先使用二级滑动时间窗口分别累积和分离人体活动产生的点云数据作为分类器的输入,利用PointLSTM单元根据点云坐标关系聚合点特征和状态以提取人体活动的时间序列特征;然后拼接时空特征,通过采样分组模块降低整体网络计算量以及提升网络对局部特征的聚合能力;最后使用堆叠的注意力模块深度融合动态点云数据时空上的全局和局部特征以完成对人体活动任务的准确分类。利用毫米波雷达采集了多种人体活动点云数据集,实验结果表明,提出的时空注意网络平均准确度可达98.64%,能够有效识别复杂且差异小的人体活动类型,完成人体活动识别系统的要求。     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于子空间集成学习的3维人体运动识别

如何对3维运动数据进行自动识别,是提高数据利用效率和进行计算机动画创作的前提。为了有效地识别运动数据,需要把运动数据投影到非线性流型低维子空间中,先识别出运动的内在结构,然后对运动的各个关节点分别进行学习,最后基于集成学习的方法产生强的隐马尔可夫学习器,以便能够对一些常见的运动类型进行自动识别。实验结果表明,这种基于子空间集成的人体运动识别方法较传统方法的检索精度、检索速度均有较大提高。