基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

一种基于关节点信息的人体行为识别新方法

为了提高机器人服务的主动性与智能性,使用Kinect体感设备获取人体的关节点数据解决人体行为识别问题.首先,利用Kinect采集人体关节点坐标,构造用于表示人体结构的3维空间向量,然后计算结构向量之间的角度和向量模的比值,进行人体姿态描述,同时以一段时间内连续的姿态序列作为行为表示特征量,最后选用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度以实现行为识别.实验结果表明,选用的行为表示特征量具有旋转与平移不变性.另外,对人在日常生活中的6种行为进行了识别实验,结果表明本文的行为识别算法可以取得较好的识别效果.     

基于Kinect的轴类零件三维重建研究

使用Kinect采集的深度数据,进行了轴类零件三维重建算法的研究。首先借助Kinect获取深度和彩色数据,通过坐标转换将深度信息转换成三维点云数据;其次提取出感兴趣目标的点云数据,根据点云数据的噪声特点,并对其进行滤波降噪处理;然后进行点云分割获得点云集,最后对各点云集进行结构参数化分析。实验结果表明,本文算法能够精确、高效地实现轴类零件的重建。     

基于模板模型的实时人体姿态跟踪研究

人体姿态跟踪是分析和识别人类行为的基础,具有广阔的应用范围。针对实时人体姿态跟踪问题,提出一种基于模板模型的人体姿态实时跟踪方法,该方法采用深度摄像头Kinect捕捉测试者的3D数据信息,并使用线性公式联合估计身体的姿态和运动。实验结果表明,该算法实现了实时人体姿态的跟踪,且可根据单个深度图的数据有效地处理明显的遮挡问题。系统设备成本低、结构简单,输出的网格能够准确地适应测试者的运动和身体形态,并随着时间的推移保持相同的拓扑结构。     

基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法。在人体检测阶段,提出Multi-task RCNN(MTRCNN)网络,使用人体运动趋势指导的三维目标检测替代传统的二维目标检测;通过相机模型在世界坐标系中进行人体检测框的投影。在跟踪阶段,使用目标三维尺度和朝向信息初始化卡尔曼滤波参数,加入三维包围框IOU生成目标匹配分数;通过Kuhn-Munkres(KM)算法进行数据关联。在标注数据集和MOT17数据集上与多种算法相比,该算法具有更稳定的初始跟踪性能,并且有效减少了两种ID Switch错误。     

结合视觉惯性模组的室内三维布局鲁棒重建方法

针对使用传统单目相机的全自动三维重建方法结果精确度差和整体结构理解缺失等问题,提出一种结合视觉惯性里程计和由运动到结构的全自动室内三维布局重建系统.首先利用视觉里程计获得关键帧图像序列和对应空间位置姿态,并利用运动恢复结构算法计算精确相机位姿;然后利用多图视立体几何算法生成高质量稠密点云;最后基于曼哈顿世界假设,针对典型的现代建筑室内场景,设计一种基于规则的自底向上的布局重建方法,得到最终房间外轮廓布局.使用浙江大学CAD&CG实验室场景现场扫描数据集和人工合成的稠密点云数据集作为实验数据,在Ubuntu 16.04和PCL 1.9环境下进行实验.结果表明,文中方法对三维点云噪声容忍度高,能够有效地重建出室内场景的三维外轮廓布局.     

基于傅里叶变换轮廓术的高速齿科三维扫描仪实现

齿科三维扫描仪是数字化齿科修复的重要组成部分,在种植、正畸、嵌体等齿科修复中发挥着数据获取的关键作用.为了实现三维口腔模型的高速采集,提出了一种基于傅里叶变换轮廓测量法的三维重建算法的牙科三维扫描系统.投射光栅图形到牙齿印模上,采集变形光栅图像,对相机捕获的变形条纹图像信息进行预处理,相位解包裹、三维点云重构和获取三维模型,实现了傅里叶变换轮廓术的高速齿科三维扫描仪.经测试,该扫描仪可在9秒内完成牙齿印模扫描,能达到10微米内的扫描精度,性能表现突出.     

基于RGB-D序列的人体动态建模方法

人体建模是计算机视觉研究领域的重要研究课题。人体建模被广泛应用于科研、动画、游戏、服装设计、工业等领域,具有非常广阔的应用前景。传统的建模方法可以在大体上还原人体的姿态,但细节上会有偏差。本文提出一种基于RGB—D序列的人体动态建模方法。人体在场景中自然活动,利用廉价的深度摄像设备Kinect可以获取人体的骨架信息和三维点云。利用获得的骨架信息将模板人体分段刚性地变形到目标位置,使用ICP算法将变形后的模型与Kinect获取的点云进行更精确的配准,使用TPS变形获得一个平滑的柔性形变人体。     

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

Reconstructing 3D human models with a Kinect

Three‐dimensional human model reconstruction has wide applications due to the rapid development of computer vision. The appearance of cheap depth camera, such as Kinect, opens up new horizons for home‐oriented 3D human reconstructions. However, the resolution of Kinect is relatively low, making it difficult to build accurate human models. In this paper, we improve the accuracy of human model reconstruction from two aspects. First, we improve the depth data quality by registering the depth images captured from multi‐views with a single Kinect. The part‐wise registration method and implicit‐surface‐based de‐noising method are proposed. Second, we utilize a statistical human model to iteratively augment and complete the human body information by fitting the statistical human model to the registered depth image. Experimental results and several applications demonstrate the applicability and quality of our system, which can be potentially used in virtual try‐on systems. Copyright © 2015 John Wiley & Sons, Ltd.     

基于Kinect的旋转刚体三维重建方法

针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法。首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求。实验结果表明:该方法具有重建效果良好的特点。     

实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建

作为计算机视觉技术的一个重要分支,基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点,得到了越来越多的关注。在室内环境下就智能机器人的同步定位以及环境地图创建（SLAM）算法展开了研究,引入RGB-D相机Kinect直接获取3D场景的深度信息,实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

Kinect动作捕捉技术在三维动画教学中的应用与实践

针对传统三维角色动画制作成本高、时间长的问题,文章介绍了一种应用Kinect动作捕捉技术实现高效制作三维角色动画的方法。该方法借助Kinect体感摄像机捕捉真人的动作生成骨骼关节的关键帧数据并输出bvh动作路径文件,然后把bvh动作路径数据导入C4D软件中,就可以驱动角色模型完成角色动画的制作。把这种方法运用到三维角色动画教学实践中,有利于提高学生学习的兴趣和效率。     

基于Kinect v2的实时精确三维重建系统

快速、低成本、精确的三维扫描技术一直是计算机视觉领域研究的热点.首先,本文分析了新一代Kinect v2（Kinect for windows v2 sensor）的技术参数、测量原理.设计实验测得其深度精度与测量距离成线性变换关系.其次,Kinect v2深度数据含有大量的噪声尤其是在物体边缘,常用的双边滤波器等去噪算法不能很好的去除这些噪声,对此本文设计了一种有效的去噪算法,提高重建质量.最后,实现了一套基于新一代Kinect v2重建系统.实验结果表明,本文中的重建系统能够实时精确的重建物体,可以广泛应用于低成本的快速三维成型.     

Towards precise real-time 3D difference detection for industrial applications

3D difference detection is the task to verify whether the 3D geometry of a real object exactly corresponds to a 3D model of this object. We present an approach for 3D difference detection with a hand-held depth camera. In contrast to previous approaches, with the presented approach geometric differences can be detected in real-time and from arbitrary viewpoints. The 3D difference detection accuracy is improved by two approaches: first, the precision of the depth camera's pose estimation is improved by coupling the depth camera with a high precision industrial measurement arm. Second, the influence of the depth measurement noise is reduced by integrating a 3D surface reconstruction algorithm. The effects of both enhancements are quantified by a ground-truth based quantitative evaluation, both for a time-of-flight (SwissRanger 4000) and a structured light depth camera (Kinect). With the proposed enhancements, differences of few millimeters can be detected from 1 m measurement distance.     

单Kinect+回转台的全视角三维重建

为了解决当前全视角三维扫描系统价格昂贵操作复杂的问题,提出利用1台Kinect和1个回转台来构建全视角三维模型的方法。研究涉及点云预处理、点云配准、全局误差修正以及色差修正等技术。首先使用Kinect采集数据并预处理,结合转台约束利用图像几何特征进行粗配准,随后使用迭代最近点（Iterative closest point,ICP）算法实现点云的精确配准。对于累积误差导致的闭环问题以及不同角度拍摄引起的色差问题,通过全局误差修正与色差修正算法处理,提升重建结果的精度。实验结果表明：该方法可以实现三维物体的全视角重建,并在精度上优于微软的KinectFusion方法。