分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

光学运动捕捉系统中标记点自动注册与预测算法

针对光学运动捕获系统中散乱数据注册问题,提出一种基于首帧标记点分割的标记点注册方法.该方法首先利用人体拓扑结构对首帧散乱数据进行分割,然后根据标记点局部刚性特征和时空信息完成注册,无需手工指定初始模板.对于存在缺失的数据,基于相邻帧标记点运动变化不大的假设,利用标记点的局部刚性特征对缺失数据进行预测.实验结果表明,该方法能快速且准确地标注各标记点,具有较好的鲁棒性和实时性.     

人体运动捕捉及运动控制的研究

在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的关键技术,包括摄像机标定、标记点跟踪和三维重建技术。无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维重建。基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用。论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息。     

基于线索引导的面部运动捕捉与数据虚拟重用方法

多数无标记面部表情运动捕捉方法仅捕捉面部表情运动的平面位置变化,而无纵深变化描述。针对这一问题,提出了基于线索引导的面部运动捕捉与数据虚拟重用方法。首先,使用单目视觉系统对人脸主体区域进行定位；然后,采用级联回归模型对人脸地标特征逐步求精,通过利用人脸特征的主动地标线索和地标特征的深度线索得到特征点在三维空间上的位置变换关系；最后,借助面部骨骼节点的数据表示实现面部表情运动重构。通过在线的实时面部表情运动捕捉实验效果可以看出,该方法不仅能够实现不同视角下对应地标特征的精确匹配,而且能够较好地将真实面部运动赋予虚拟角色。     

基于序列帧的光学运动捕捉系统及实现

首先,给出了系统的结构图。然后,提出了光学运动捕捉系统中关键技术的解决方法。利用卡尔曼滤波算法进行标记点预测和跟踪,提高了跟踪的准确性。在三维重建之前还需要进行摄像机的三维重建,以便准确地得出标记点的空间位置,提出了标定摄像机的实用方法。由于误差的存在,对三维重建理想状态下的方法进行了扩充,使三维重建更易于实现。实验证明,文中提到的方法能得到理想的数据。     

结合视觉惯性模组的室内三维布局鲁棒重建方法

针对使用传统单目相机的全自动三维重建方法结果精确度差和整体结构理解缺失等问题,提出一种结合视觉惯性里程计和由运动到结构的全自动室内三维布局重建系统.首先利用视觉里程计获得关键帧图像序列和对应空间位置姿态,并利用运动恢复结构算法计算精确相机位姿;然后利用多图视立体几何算法生成高质量稠密点云;最后基于曼哈顿世界假设,针对典型的现代建筑室内场景,设计一种基于规则的自底向上的布局重建方法,得到最终房间外轮廓布局.使用浙江大学CAD&CG实验室场景现场扫描数据集和人工合成的稠密点云数据集作为实验数据,在Ubuntu 16.04和PCL 1.9环境下进行实验.结果表明,文中方法对三维点云噪声容忍度高,能够有效地重建出室内场景的三维外轮廓布局.     

融合时空约束的光学动作捕捉标记点实时补全方法

在基于标记点的光学动作捕捉系统中,针对粘贴在用户身上的标记点受遮挡等因素影响丢失跟踪位置后导致人体位姿计算失败的问题,提出一种基于深度学习的标记点序列预测补全方法.该方法中,深度学习网络模型以人体运动的时间反演对称性作为理论依据,使用双向长短期记忆网络作为网络主体架构;在模型训练过程中提出组合损失函数,分别对人体关键运动节点的活动范围、同一段骨骼上标记点之间的刚性结构,以及标记点运动轨迹的时间连续性进行限制,确保补全的标记点序列符合人体运动的时空约束.在HDM05数据集上的实验结果表明,与现有方法相比,在丢失不同数量、不同时间跨度的标记点序列的条件下,所提方法补全标记点位置的平均误差下降超过14%.     

基于约束物理系统和运动捕捉的人体运动仿真

为了能在基于PC平台的虚拟现实中实现更具真实感的人体运动仿真,该文提出一种改进的约束求解方法,将人体建模为基于约束关节树的骨骼结构。约束模型的求解采用基于线性互补问题的求解方法,同时结合相应的运动捕捉数据。实验结果表明,该方法所获得的运动数据不仅能满足交互式要求的帧速率,而且由于算法基于人体运动捕捉原始数据,使得虚拟人体与环境进行实时交互运动的过程更加真实。仿真结果以每帧的三维图像表示,可以形象地显示每秒60帧的人体运动。     

基于传感器和视觉SLAM的双目相机虚拟注册研究

在无标记增强现实中,针对基于视觉特征的同时定位与地图构建(SLAM)增强现实注册算法在图像模糊、运动过快和特征缺失等情况下存在精度急剧下降问题,提出一种在视觉SLAM基础上融合惯性测量单元(IMU,Inertial measurement unit)改进的相机定位与虚拟注册方法.所提注册方法,在进行特征点匹配时通过IMU预积分模块减小匹配特征点的搜索空间,加速特征点匹配过程,提高时间效率;确定相机位姿时,采用视觉SLAM和IMU数据联合求解相机位姿,提高了注册精度.再根据相机位姿变化信息计算出变换矩阵,完成对虚拟对象的注册.最后,通过EuRoC数据集验证该方法的性能,对比其他方法,所提方法具有更高的时间效率和注册精度.     

人体运动数据重构方法进展

运动捕捉系统产生的人体运动数据是标记点在运动序列中的位置数据,用于驱动人体模型产生真实感的动画。在对近几年有关人体运动数据重构的文献进行综合和分析的基础上,首先对人体运动数据重构进行了问题描述,并对人体运动数据在重构过程中难以避免的噪声问题和特征点(虚拟空间中的标记点)缺失问题的研究分别进行了总结和分析;然后对人体运动数据获取的光学式原型捕捉系统开发的研究进行了讨论,评述了人体运动数据驱动人体几何模型的相关研究;最后对未来研究提出了一些展望。     

点状特征柔性物体三维运动捕获方法

针对具有点状特征的柔性物体,提出了一种三维运动捕获方法.首先,该方法利用两个标定的高速摄像机拍摄柔性物体的运动视频,并对图像进行立体校正;然后,采用DOG （Difference Of Gaussian）算法获取点状特征的位置,并提取特征点极值;其次,在一定范围的窗口上搜索匹配对,匹配左右图像的特征点;再次,通过三角测量法进行三维重建;最后,利用搜索策略进行时间序列上的匹配,实现动态柔性物体的三维运动捕获,并计算空间坐标、速度、加速度参数.实验结果表明,相比于采用sift算法匹配特征点捕获柔性运动物体的方法,本方法精度更高.     

乒乓球的三维运动轨迹重建

主要基于图像序列对乒乓球的运动轨迹进行三维重建,并对乒乓球运动形态进行分析.首先对采集的图像进行立体校正,利用颜色识别和改进的霍夫圆检测算法提取出序列图像中乒乓球的圆心坐标;然后根据前后帧图像的特征点坐标差值在时间序列上匹配特征点;最后,利用三角测量法对匹配的特征点进行三维重建,并计算出乒乓球不同时刻的速度和加速度,实现了动态物体的三维运动重建.实验结果表明该三维运动重建方法提高了特征提取的准确性,有效地实现了时间序列上的匹配,获得了物体的三维运动数据.     

自然条件下猪只运动参量提取算法

自然条件下猪只日常运动时间、距离、速度、加速度等构成的运动数据,可作为猪只健康状况分析和遗传性能评估的重要数据基础。针对传感器采集猪只运动数据会给动物带来不舒适的问题,结合视频监控技术和数字图像处理技术,提出了一套能够应用于自然条件下的猪只识别与跟踪方法;并立足猪只日常,设计了基于最短距离匹配法的状态参量和运动位移、运动速度、运动加速度和运动角速度4个运动参量的提取算法。对自然条件下猪场实时视频8次实验的识别结果进行分析,结果表明猪只识别与跟踪算法能够抵抗轻度粘连和光照变化带来的影响,对现实猪场情景具有较好的处理效果;运动参量提取算法提取出的运动位移累加量、运动速度、运动加速度和运动角速度各时刻的具体数值,总体趋势上能够反映猪只活动,可为未来猪只行为研究提供数据基础。     

基于运动显著图的人群异常行为检测

针对公共场所中人群监控准确性和实时性低的问题,提出一种基于运动显著图的人群异常行为检测方法。该方法首先利用Lucas-Kanade法计算稀疏特征点的光流场,并对光流场进行时间和空间上的滤波处理,然后计算特征点的运动方向、速度和加速度。为了准确描述人群行为,将人群的速度幅值、运动方向变化量和加速度幅值分别映射为图像的R、G、B三个通道,并以此合成代表人群运动特征的运动显著图。最后,设计和训练面向人群运动显著图的卷积神经网络模型,并利用该模型检测人群中是否存在异常行为。实验结果表明,该方法能够有效、实时地检测人群异常行为,在UMN和PETS2009数据集的检测率均达到了97.9%以上。     

Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking

We present a method to reconstruct human motion pose from uncalibrated monocular video sequences based on the morphing appearance model matching. The human pose estimation is made by integrated human joint tracking with pose reconstruction in depth-first order. Firstly, the Euler angles of joint are estimated by inverse kinematics based on human skeleton constrain. Then, the coordinates of pixels in the body segments in the scene are determined by forward kinematics, by projecting these pixels in the scene onto the image plane under the assumption of perspective projection to obtain the region of morphing appearance model in the image. Finally, the human motion pose can be reconstructed by histogram matching. The experimental results show that this method can obtain favorable reconstruction results on a number of complex human motion sequences.     

A multi-view vision-based hand motion capturing system

Vision-based hand motion capturing approaches play a critical role in human computer interface owing to its non-invasiveness, cost effectiveness, and user friendliness. This work presents a multi-view vision-based method to capture hand motion. A 3-D hand model with structural and kinematical constraints is developed to ensure that the proposed hand model behaves similar to an ordinary human hand. Human hand motion in a high degree of freedom space is estimated by developing a separable state based particle filtering (SSBPF) method to track the finger motion. By integrating different features, including silhouette, Chamfer distance, and depth map in different view angles, the proposed motion tracking system can capture the hand motion parameter effectively and solve the self-occlusion problem of the finger motion. Experimental results indicate that the hand joint angle estimation generates an average error of 11°.     

Performance evaluation of a wearable inertial motion capture system for capturing physical exposures during manual material handling tasks

With a long-term goal of improving quantification of physical exposures in the workplace, this study examined the ability of a commercially available inertial motion capture (IMC) system in quantifying exposures during five different simulated manual material handling tasks. Fourteen participants repeated all these tasks in three 20 min sequential time blocks. Performance of the IMC system was compared against an optical motion capture (OMC) system (‘gold standard’) in terms of joint angles, angular velocities and moments at selected body parts. Though several significant changes in performance over time were found, the magnitudes of these were relatively small and may have limited practical relevance. The IMC system yielded peak kinematic values that differed by up to 28% from the OMC system. The IMC system, in some cases, incorrectly reflected the actual extremity positions of a participant, and which can cause relatively large errors in joint moment estimation. Given the potential limitations, practical recommendations are offered and discussed.

Practitioner Summary: Use of an inertial motion capture system can advance the quantification of physical exposures in situ. Results indicate a good potential capacity for capturing physical exposure data in the field for an extended period, while highlighting potential limitations. Future system application can help provide better understandings of dose-exposure relationships.     

网络化手势运动跟踪系统设计

设计了一种基于微机电惯性传感器的数据手套.根据惯性导航和刚体动力学原理,构建了基于微型传感器的体感网络,并通过多传感器数据的融合解算以获取运动姿态信息,实现对手指各关节运动数据的捕获.结合计算机图形技术构建三维虚拟手捕获系统进行性能对比评估,实验结果表明:所设计的系统具有良好的稳定性和适应性,能够对手运动信息进行实时有效地捕获.     

主-从自治海上航行器有限时间同步运动控制

研究主-从自治海上航行器有限时间同步运动问题, 提出一种可实现主-从自治海上航行器的位置、姿态、线速度、角速度、线加速度和角加速度等运动状态有限时间同步的连续状态反馈控制方法. 首先, 通过建立主、从自治海上航行器的动力学模型, 给出了主-从同步运动控制方案; 然后, 采用齐次系统有限时间稳定性理论, 为从自治海上航行器设计了一种连续状态反馈控制器, 以及在该控制器下实现主-从自治海上航行器有限时间同步运动的充分性判据, 并通过实例仿真进行了验证.     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。