基于关键帧的三维人体运动检索

提出一种基于关键帧的三维人体运动检索技术.首先采用骨骼夹角作为对原始运动数据的特征表示并提取运动片断关键帧集合,以此作为原始运动片断的特征表示;然后基于所提取关键帧数据在相似运动片断之间具有一致性的特点,在两两关键帧集合之间建立距离矩阵进行相似度匹配.实验结果表明,与现有大多数基于内容的三维人体运动数据检索方法相比,该方法能够取得更好的时间效率且不依赖于任何预先设定的参数,相对于现有基于关键帧的运动检索技术而言,其能够获得更好的检索效果.     

人体运动分割算法:序列局部弯曲的流形学习

针对已有的基于流形学习的分割算法多采取全局或局部线性化的学习策略,无法解决序列数据的局部高曲率问题,利用数据的几何特征描述运动的连贯性,提出一种时序流形学习的人体运动分割方法.该方法根据序列数据的局部弯曲指标描述人体运动的连贯性,利用过渡片段数据局部弯曲较大的特点寻找分割点;通过滤波技术及分段线性近似算法对局部弯曲指标数据进行处理,结合降维后的特征曲线实现人体运动时间序列的分割.对CMU人体运动捕获数据库等的实验结果表明,文中方法是有效的.     

运动路径驱动的角色动画合成方法

为了给虚拟角色合成出逼真的大范围运动数据,提出一种为特定运动路径配上自然多样的人体运动数据的方法.该方法将待匹配运动路径分割为一系列短小的运动路径片断,并在一个结构化的运动状态机上逐片断地寻找最为匹配的运动序列;然后将这些运动序列依次连接起来,得到一段连续的、满足运动路径约束的人体运动数据.用户还可以交互式地设计运动路径上一个路径片断的运动类型.该方法适用于待匹配运动路径运动范围大、对多条运动路径同时计算匹配运动、多条运动路径之间交叉频繁的情景.     

基于运动分割和稀疏低秩分解的失真人体运动捕捉数据恢复

针对人体运动的复杂性和噪声干扰的无序性,提出一种基于运动分割和稀疏低秩分解的失真人体运动捕捉数据恢复方法.首先利用双边滤波对失真运动数据进行预修正,降低干扰数据的奇异信息并保证运动序列的连贯性;其次采用概率主元分析方法将修正后的运动数据进行语义行为自动分割,得到不同姿态的运动语义子区间;再利用加速近端梯度优化算法对每个失真运动子片段数据矩阵根据其更优低秩特性进行稀疏低秩分解,实现运动子片段数据的局部恢复;最后将局部恢复后的各子运动片段根据人体运动序列的时序特性组合,达到整体失真运动捕捉数据恢复的目的.实验结果表明,该方法能够有效地对失真人体运动数据进行恢复,效果显著,有助于重构逼近真实人体姿态的运动捕捉数据.     

视频监控中的行为序列分割与识别

智能监控系统中的行为分析与识别是当前计算机视觉领域的研究热点,而行为序列分割则是行为分析与识别的基础.提出了一种无监督的行为序列分割算法,并对分割结果进行识别.首先,采用鲁棒的形状编码方案得到人体轮廓的紧凑表示,提取轮廓点集特征描述运动人体;然后,基于奇异值分解(SVD)估计行为序列数据的本征维数,确定数据对应的低维流形,并通过检测特征数据在该流形上的投影误差的突变实现行为序列分割;最后,采用隐马尔可夫模型(HMM)对分割结果进行识别.在公共数据库上的实验结果表明了此分割和识别算法的有效性.     

基于微型传感器驱动的三维实时运动人体模型

建立一种运用于人体运动捕获与再现系统的人体模型,实现人体运动实时控制模型的运动.根据微型传感器人体运动捕获与再现系统的特点,提出一种三维人体模型的层次化结构建模方法和多边形分组皮肤变形方法.该方法以生物动力学为基础,根据人体关节的运动特征进行分层表示,采用传感器数据驱动并控制人体骨架模型的运动以及皮肤模型的变形,实时再现真实人体运动.实验表明,新建模方法适用于传感器数据驱动人体模型的实时运动再现,并能够逼真地体现人体运动的生物力学特征.     

一种基于索引空间的三维运动捕获数据检索方法

为能有效检索当前大量的三维人体运动捕获数据从而投入使用,针对三维人体运动捕获数据的独有特性,提出一种高效的检索方法。首先通过关键帧提取对原始运动数据降维,然后采用自定义的符合人体运动语义的特征将原始角度数据转换为特征序列。根据数据库中所有运动片段对应的特征序列构建一种基于姿态特征的索引空间。检索时通过在索引空间上顺序匹配姿态特征来查找时序一致的匹配运动片段。实验结果表明,与大多数现有方法相比,该方法由于较好的运动语义特征提取,因此具有更好的时间效率,更高的灵活性和检索精度,能够满足多种运动数据的检索需要。     

交互式分割视频运动对象的研究与实现

在 MPEG- 4视频编码标准中 ,为了实现基于视频内容的交互功能 ,视频序列的每一帧由视频对象面来表示 ,而生成视频对象面 ,需要对视频序列中运动对象进行有效分割 ,并跟踪运动对象随时间的变化 .在视频分割方法中 ,交互式分割视频对象能满足分割的效率与质量指标要求 ,因此提出了一种交互分割与自动跟踪相结合的方式来分割视频语义对象 ,即在初始分割时 ,依据用户的交互与形态学的分水线分割算法相结合提取视频对象轮廓 ,并用改进的轮廓跟踪方法有效提高视频对象轮廓的精度 ;对后续帧的跟踪 ,采用六参数仿射变换跟踪运动对象轮廓的变化 ,用平移估算的运动矢量作为初始值 ,计算六参数仿射变换的参数 .实验结果表明 ,该方法能有效地分割并跟踪视频运动对象     

基于拉普拉斯分值特征选择的运动捕获数据关键帧提取

针对已有的运动捕获数据关键帧提取方法常常忽略运动数据局部拓扑结构特性问题,提出了一种基于拉普拉斯分值LS特征选择的人体运动数据关键帧提取方法。该方法首先从原始运动数据集中提取两种代表性的特征向量并对其归一化,利用LS算法对组合后的特征向量进行打分和特征权重学习,以获取能够判别性揭示局部运动信息的特征子向量;其次,通过构建综合特征函数并基于极值判别原理,得到初始候选关键帧序列;最后,根据时间阈值约束和姿态相似判别策略,利用改进的k-means算法对候选帧进行聚类筛选,以达到去除冗余关键帧的目的,从而得到最终关键帧序列集合。仿真实验结果表明,该方法提取的关键帧序列具有典型性,能较好地对整体运动捕获数据进行视觉概括。     

运动串:一种用于行为分割的运动捕获数据表示方法

运动数据的行为分割是运动捕获过程中非常重要的一环.针对现有分割方法的不足,提出了一种可用于行为分割的运动数据表示方法,并基于该表示实现了数据的行为分割.运动数据经过谱聚类(spectral clustering)、时序恢复和最大值滤波法(max filtering)后生成一个字符串,该字符串称为运动串,然后采用后缀树(suffix tree)分析运动串,提取出所有静态子串和周期子串,对这些子串进行行为标注,从而实现运动数据的行为分割.实验表明,基于运动串的分割具有较好的鲁棒性和分割效果.     

Real-time Unsupervised Segmentation of human whole-body motion and its application to humanoid robot acquisition of motion symbols

An interactive loop between motion recognition and motion generation is a fundamental mechanism for humans and humanoid robots. We have been developing an intelligent framework for motion recognition and generation based on symbolizing motion primitives. The motion primitives are encoded into Hidden Markov Models (HMMs), which we call “motion symbols”. However, to determine the motion primitives to use as training data for the HMMs, this framework requires a manual segmentation of human motions. Essentially, a humanoid robot is expected to participate in daily life and must learn many motion symbols to adapt to various situations. For this use, manual segmentation is cumbersome and impractical for humanoid robots. In this study, we propose a novel approach to segmentation, the Real-time Unsupervised Segmentation (RUS) method, which comprises three phases. In the first phase, short human movements are encoded into feature HMMs. Seamless human motion can be converted to a sequence of these feature HMMs. In the second phase, the causality between the feature HMMs is extracted. The causality data make it possible to predict movement from observation. In the third phase, movements having a large prediction uncertainty are designated as the boundaries of motion primitives. In this way, human whole-body motion can be segmented into a sequence of motion primitives. This paper also describes an application of RUS to AUtonomous Symbolization of motion primitives (AUS). Each derived motion primitive is classified into an HMM for a motion symbol, and parameters of the HMMs are optimized by using the motion primitives as training data in competitive learning. The HMMs are gradually optimized in such a way that the HMMs can abstract similar motion primitives. We tested the RUS and AUS frameworks on captured human whole-body motions and demonstrated the validity of the proposed framework.     

抗相机运动干扰的欧拉视频振动检测

相机运动的干扰是造成视频振动检测误差的重要原因。针对该问题,提出一种互抑制一致采样方法,对视频中的振动信号和相机运动信号实现有效分离,从而提高视频振动检测的可靠性。通过SURF（加速稳健特征）算法提取候选的特征点,并设计了振动与相机运动的互抑制测度,对候选的特征点进行分离,以获得相机运动的特征点。根据相机运动特征点对视频图像进行配准,以获得去除相机运动干扰的视频序列。对稳定相机的视频序列,采用欧拉视频振动检测方法获得振动频率。自行采集了不同相机运动下的视频,并针对互抑制测度的参数进行估计。通过对测试集数据进行验证,得到的振动频率准确率优于现有的非接触振动检测方法。     

Incorporating motion analysis technology into modular arrangement of predetermined time standard (MODAPTS)

Implementing new strategies to achieve higher work efficiency is essential to improve productivity during a monotonous and exhausting work task. The Modular Arrangement of Predetermined Time Standard (MODAPTS) concept is widely used to achieve these goals in the field of human factors. However, MODAPTS is very complicated with regard to assisting engineers in understanding the system because it requires much learning time and even longer hours of effort during coding manual process. To help overcome the deficiency of the traditional method, a modern method for motion analysis, called PCA-based motion analysis, is proposed in this paper. Motion analysis has already been the main approach to analyze human motion in sports science and biometrics, but it is still unfamiliar for human factors analysts. This paper discusses a potential connection between motion analysis technology and MODAPTS analysis, which would help make MODAPTS more efficient and reliable. In the experiment, fifteen participants were asked to watch a motion sequence and then analyze the motion sequence using MODAPTS. Meanwhile, the motion-captured data were carefully segmented into motion elements with the PCA approach. A comparison of the motion segmentation contrast was made between MODAPTS analysis and automatic motion element segmentation using PCA. The accuracy rate of segmentation by the PCA approach was 80.08%, and the primitive frames of the two methods indicated that the segmentation is acceptable. In addition, the PCA-based motion analysis showed a substantial time-saving difference in the processing time, which was only approximately 3 min for motion analysis versus over 1 h for MODAPTS. Motion analysis provides high efficiency and reliability for motion segmentation and sufficient precision compared to the results using MODAPTS. Moreover, assessment of the operations’ rationality and optimization of the production line design instead of repetitive work on motion segmentation is the focus. Integrating motion analysis technology into traditional MODAPTS is a useful advancement that permits significant progress for human factors analysis. In the future, the accuracy of the automatic segmentation techniques should be improved.Relevance to industryIn recent years, motion analysis technology has become increasingly popular in various fields but not in the field of human factors. The automatic method presented in this paper may allow industrial workers to optimize unreasonable motion, remove unnecessary operations and formulate the standard working time more conveniently and accurately.     

Online Segmentation and Clustering From Continuous Observation of Whole Body Motions

This paper describes a novel approach for incremental learning of human motion pattern primitives through online observation of human motion. The observed time series data stream is first stochastically segmented into potential motion primitive segments, based on the assumption that data belonging to the same motion primitive will have the same underlying distribution. The motion segments are then abstracted into a stochastic model representation and automatically clustered and organized. As new motion patterns are observed, they are incrementally grouped together into a tree structure, based on their relative distance in the model space. The tree leaves, which represent the most specialized learned motion primitives, are then passed back to the segmentation algorithm so that as the number of known motion primitives increases, the accuracy of the segmentation can also be improved. The combined algorithm is tested on a sequence of continuous human motion data that are obtained through motion capture, and demonstrates the performance of the proposed approach.     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

视频监控中的一种快速人脸定位方法

根据视频监控应用的特点，结合视频图像的时域连续特性和人脸肤色特征，提出了一种应用十视频监控的快速人脸定位方法。该方法首先通过对称差分算法，提取运动区域；然后基于BP(back-error-propagation,误差反传)神经网络的肤色分割算法，对运动区域进行肤色检测，最后，经过进一步的候选人脸区域验证，定位图像中的人脸。实验结果表明，提出的方法实现简单、检测速度怏、误检率低，适合实时视频监控系统应用。     

基于图像多尺度运动特征的模糊分割算法

从运动分析的角度出发,对所研究的图像序列,提出了一种基于空域－时域连续小波变换（CWT）的模糊分割算法。运用可分离的小波函数作为滤波器来提取不同尺度上的运动参数,由不尺度上的运动特征参数构成特征参数集,然后运用快速模糊聚类算法实现基于运动特征的图象分割。该分割算法不仅对噪声具有较强的适应性,而且也极大地提高了图像分割的速度,同时使得分割结果能够更加准确地反映运动物体的特征。     

基于Siamese循环神经网络的泰文句子切分方法

泰文很少运用标点符号,句子间没有明显的分隔符,需要根据语义进行断句,为泰文词法分析、句法分析和机器翻译等自然语言处理任务带来了额外的困难。针对泰文断句问题提出一种基于Siamese循环神经网络的句子自动切分方法。相比传统泰文断句方法,该方法无需人工定义特征,而是采用统一的循环神经网络分别对候选断句点前后的词序列进行编码;然后,通过综合前后词序列的编码向量作为特征来构建泰文句子切分模型。在ORCHID泰文语料上的实验结果表明,所提出的方法优于传统泰文句子切分方法。     

求取真实运动矢量的一种算法

针对物体基视频编码与分割应用,提出了求取特征区域真实运动矢量的一种算法。首先,利用运动检测器将图像序列的每一帧分割成静止区域与运动区域。然后只对运动区域进行运动估计。为了克服传统块匹配法的固有缺点,本文算法采用变尺寸块匹配法,大的均匀区用大方块,运动物体的边缘区用小方块;在进行块匹配搜索期间,在易误匹配的区域,为了不遗漏真实的运动矢量,先按照ＭＡＥ准则预选出多个候选运动矢量,尽可能保证真实的运动矢量包含其中,接着再根据相邻块运动矢量的相关性,从多个候选运动矢量中选出一个比较可靠的运动矢量。实验结果表明,该算法产生的运动矢量真实可靠,而且一致性好,可用于识别可靠的运动区域。