基于三维人体语义骨架点的姿态匹配

针对三维人体模型结构复杂,处理数量大且不易提取控制点等问题,提出通过对人体形状进行特征分析描述人体结构并进行姿态识别的算法。融合测地线与空间结构等特征提取骨架点有效减少数据的计算量,并通过ICP算法进行姿态的行为识别。实验证明,该算法有效地提升了三维姿态的识别效率,并有很好的鲁棒性。     

基于特征匹配的单目相机姿态解算

本文采用了一种基于AKAZE特征检测和PnP算法的单目视觉测量方法对相机的相对姿态进行解算,用于快速准确地确定空间中两个目标间的位姿关系.采集合作目标的模板图像,提取附加到合作目标上的4个特征点的像素坐标,利用AKAZE关键点对模板图像和待测图像进行匹配并计算映射矩阵,通过映射矩阵得到4个特征点在待测图像中的像素坐标,然后结合合作目标的尺寸信息求解基于4个共面特征点的PnP问题,解算相机与合作目标的相对位置.实验分析表明该方法计算的实时图像相机位姿与真实结果接近,验证了本文方法的有效性.     

基于投影匹配的目标姿态测量方法研究

提出一种在图像投影匹配基础上进行的目标姿态测量新方法,避免了传统姿态测量中左右像面目标的特征匹配或灰度匹配.二维投影相关法是基于二维投影的灰度相关匹配算法,主要利用匹配图像相邻像素的灰度值的大小关系应该相同的原理进行图像匹配.在此基础上采用双目视觉测量空间轴对称目标姿态,应用面面交会法获取轴对称目标在像面的轴线,进行三维姿态测量.模拟实验结果表明:该方法姿态角测量误差小于0.2°;且计算速度快,结果稳定,能够满足处理的要求.     

基于Kinect采集的武术动作识别匹配研究

针对当前武术标准动作训练的需要,为提高武术训练的准确度,结合当前流行的三维图像采集技术,提出一种基于Kinect的动作识别技术.最后通过试验验证了基于Kinect在太极拳姿态采集方面的可行性,并且本文设计的姿态匹配方法,具有较高的识别率.     

基于惯性动作捕捉的人体运动姿态模拟

针对人体运动姿态编辑的自由性,提出一种人体运动姿态模拟方法。该方法采用贝塞尔曲线和数值数据编辑人体运动姿态。根据人体运动的特点,在VC++中运用OpenGL构建虚拟人体模型,利用动作捕捉技术设计人体运动姿态的模拟程序。结合人体关节正常活动范围,对主要关节点的运动姿态进行分析,结果表明,该方法能有效利用人体运动数据,驱动虚拟人体模型。     

基于动作捕捉传感器的民族舞蹈动作自动识别系统

针对传统舞蹈动作捕捉和自动识别准确率低的问题,设计一个基于动作捕捉传感器的民族舞蹈动作自动识别系统。系统通过构建人体动作数据库,为人体关节动作模型提供数据参考,利用传感器读取数据后,将读取数据置入三维人体动作模型中,将其与数据库中的标准动作进行匹配,找出舞蹈训练者的错误动作并进行纠正,以此实现舞蹈动作自动识别。测试结果表明,对比于其他动作识别系统,本系统在动作识别角度和关节点定位方面与Kinect标准值间的误差最小,识别准确率高达97.6%,综合分析可知,本系统可实现民族舞蹈动作的精准捕捉和自动识别,具有一定的有效性。     

基于MobileNetV3与ST-SRU的危险驾驶姿态识别

针对危险驾驶行为引起的交通安全事故频发的现状,提出一种基于MobileNetV3和ST-SRU的危险驾驶姿态识别系统.首先,修改MobileNetV3的网络结构使其适用于人体姿态估计任务,输出关节点的热力图和偏移量图,用来估计J个关节点的二维坐标位置;其次,定义ST-SRU骨架动作识别算法,利用动作的骨架序列数据对动作进行分类.实验结果表明:MobileNetV3姿态估计算法在自建的AI Challenger上肢姿态数据集上测得PCP值(percentage correct parts)达到95.6%,测试1 000次用时仅为5.03 s;利用自建的危险驾驶行为数据集将训练好的姿态估计和动作识别模型移植到嵌入式平台,实现了实时的危险驾驶姿态识别系统.     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

基于多相机的人脸姿态识别

主动形状模型(ASM)算法被用来进行人脸特征点的精确定位,然后在多相机测量的图像中进行特征点的立体匹配,利用双目视觉和相机三维测距技术可以确定人脸特征点的空间三维位置,从而利用这些特征点的相对位置确定出人脸的姿态。实验结果显示,用该方法进行人脸姿态识别能取得比二维识别更高的精确度。     

基于GPU-SIFT算法的飞行器视觉导航姿态估计关键技术

针对传统惯性导航累积误差大的缺陷,研究提出了一种视觉导航姿态估计方法;首先提取图像的局部特征,分别对SURF(speeded up robust features)、SIFT (scale-invariant featuretransform)及GPU-SIFT特征提取算法进行了比较;保证算法精度及实时性后,将实时图与基准图库进行局部特征匹配,并利用EPnP算法进行飞行器的六自由度参数解算;实验结果表明GPU-SIFT算法精度最高,且随着图像分辨率的提高,其计算速度相比SURF和SIFT算法有了显著提高,该方法在一定条件下具有较高的位姿精度和良好的实时性.     

基于姿态转换网络的行为识别

为了有效的表征行为,提出了一种基于姿态转换网络的行为识别算法。首先对人体进行自动定位,并对人体区域进行形状与运动特征提取;然后对特征进行层次聚类,构建姿态二叉树,并将运动序列表示为姿态序列后,将其表征为姿态转换网络的权重;最后利用k-近邻的方法对行为进行分类识别。实验结果表明,该算法对动态嘈杂背景,人体执行行为速度的快慢具有一定程度的鲁棒性。该算法在两个公用数据库上获得了较好的结果验证了其有效性。     

基于ORB特征的单目视觉定位算法研究

针对大范围室外场景和具有重复、高频纹理特征(例如水泥地、草坪)的场景,提出了一种鲁棒性强、定位精度高、速度更快的视觉定位算法。采用8级图像金字塔的ORB (Oriented FAST and Rotated BRIEF)特征描述子提取图像特征点,通过K近邻(KNN)匹配相邻图像序列的特征点对,依次解算基础矩阵F和本质矩阵E,采用自适应法利用单应矩阵和本质矩阵进行位姿估计,最后解算两帧图像间相机刚体运动的旋转R和平移t,利用三角测量法则求解出匹配点的三维坐标,重建相机运动轨迹。为了提高算法性能,提出采用最小化基于点特征的非线性重投影误差优化三维点。通过调用OpenCV在C++中实现,对所采集的数据集进行测试,测试结果表明,该方法比传统的3D位姿估计更优,实时可行。由于其基于单目而实现,因此无法得到尺度信息。     

虚拟人在队列训练模拟器中的应用

随着仿真和虚拟现实技术的发展,虚拟人技术由理论研究逐渐走向实际应用,在医学、军事、航天、体育、艺术等领域发挥越来越重要的作用.然而,由于人体外形和运动的复杂性,对人类自身完美地模拟还十分困难.以队列训练模拟器为背景,重点研究了系统中虚拟人的几何和运动控制建模.根据军事队列训练的目标和要求,采用分层虚拟人表示方法,建立了具有树形结构的人体几何模型;应用基于视频的运动捕捉技术和运动学方法,控制虚拟人的行为动作;以齐步走为例,给出了仿真结果.仿真和实验结果表明,所建立的人体几何模型逼真可信,基于视频的运动捕捉和运动学结合的运动控制方法有效、逼真地对虚拟人进行了控制.     

基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点,为此,提出了一种利用视觉技术从视频中提取人体运动的方法,并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程,能精确地跟踪比较大的人体运动;采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法,能恢复逼真的三维人体骨架模型,实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

Compression and recognition of dance gestures using a deformable model

In this paper, we aim for the recognition of a set of dance gestures from contemporary ballet. Our input data are motion trajectories followed by the joints of a dancing body provided by a motion-capture system. It is obvious that direct use of the original signals is unreliable and expensive. Therefore, we propose a suitable tool for non-uniform sub-sampling of spatiotemporal signals. The key to our approach is the use of a deformable model to provide a compact and efficient representation of motion trajectories. Our dance gesture recognition method involves a set of hidden Markov models (HMMs), each of them being related to a motion trajectory followed by the joints. The recognition of such movements is then achieved by matching the resulting gesture models with the input data via HMMs. We have validated our recognition system on 12 fundamental movements from contemporary ballet performed by four dancers. This revised version was published online in November 2004 with corrections to the section numbers. Ballet Atlantique Régine Chopinot.     

Evaluation of on-line analytic and numeric inverse kinematics approaches driven by partial vision input

Despite its central role in the constitution of a truly enactive interface, 3D interaction through human full body movement has been hindered by a number of technological and algorithmic factors. Let us mention the cumbersome magnetic equipments, or the underdetermined data set provided by less invasive video-based approaches. In the present paper, we explore the recovery of the full body posture of a standing subject in front of a stereo camera system. The 3D position of the hands, the head and the center of the trunk segment are extracted in real-time and provided to the body posture recovery algorithmic layer. We focus on the comparison between numeric and analytic inverse kinematics approaches in terms of performances and overall quality of the reconstructed body posture. Algorithmic issues arise from the very partial and noisy input and the singularity of the human standing posture. Despite stability concerns, results confirm the pertinence of this approach in this demanding context.     

Pedestrian registration in static images with unconstrained background

This paper introduces a human body contour registration method for static pedestrian images with unconstrained backgrounds. By using a statistical compound model to impose structural and textural constraints on valid pedestrian appearances, the matching process is robust to image clutter. Experimental results show that the proposed method register pedestrian contours in complex backgrounds effectively.     

采用弱预测机制的人体运动跟踪算法

快速运动和自遮挡是人体运动跟踪的难点所在 .为此提出了一种采用弱预测机制的人体运动跟踪算法 .该算法首先通过全局搜索 ,确定候选人体特征集 ;然后建立特征的色彩、运动等属性的时变模型 ,构造贝叶斯分类器 ,实现特征对应 ;最后根据人体特征层次模型 ,检验特征匹配 ,并实现被遮挡特征的定位 .为提高跟踪效率 ,采用了基于图象多分辨率表示的特征搜索算法 ,由低分辨率图象通过全局搜索来获取初始候选特征集 ,然后在高分辨率下 ,不断改善候选特征精度 .实验结果表明 ,该算法能实现对快速人体运动的跟踪并有效解决自遮挡问题 .