基于Kinect的三维人体分块点云数据的拼接与模型重建

三维人体测量技术中,人体表面情况较为复杂以及存在视觉盲点,使得测量范围有限的Kinect技术无法通过一次测量完成对整个人体表面点云的获取工作。为了得到与原模型一致的分块点云数据和解决Kinect直接获取的点云坐标与实际不相符的问题,研究了基于Kinect对人体的不同区域的测量,首先推导出合理的坐标变换公式对点云进行处理。然后,使用三点对齐法和Delaunay三角剖分法实现分块点云的拼接和三维人体模型的重建。最后,运用Matlab平台进行仿真。实验结果表明,该算法简化了传统三维人体建模的复杂性,能够精确地提取人体深度图像,且模型的恢复程度较好。     

基于Kinect人体脚型三维构建

针对传统测量方法成本高、操作复杂、图像特征匹配率准确度不高等问题,提出了一种将Kinect传感器与计算机视觉技术相结合的构建人体三维脚型的方法。利用Kinect传感器搭建测量系统,获取不同角度的深度信息图像,通过改进的Harris-SIFT算法对特征点进行提取与匹配,并通过迭代最近点(ICP)算法完成对点云数据的拼接。结果表明:所提方法能够便捷、准确地实现人体三维脚型的构建。     

基于 Kinect 的拉普拉斯网格形变三维人脸建模

为了快速创建真实感较强的三维人脸模型,提出了基于 Kinect 的拉普拉斯网格形 变建模方法。利用 Kinect 获取彩色和深度图像信息,对深度图像进行双边滤波处理,对彩色图 像进行低层级顶点定位;构建标准三维人脸模型,并为该人脸模型中的顶点建立低、中、高 3 个级别的层级结构,通过低、中层级中顶点的位置关系创建 Sibson 局部坐标约束;利用该约束 构建彩色图像中间层级顶点,并结合深度信息对标准三维人脸模型进行拉普拉斯网格变形,获 得真实感较强的三维人脸模型。实验结果表明,该算法在建模的真实感上得到了提高,与对比 算法相比,在建模时间上得到很大的优化。     

传感器数据融合与单一传感器在同步定位与构图中的对比研究

针对室内环境下单一传感器数据在同步定位与构图中的局限性问题,提出了一种使用模糊贴近度和自适应加权相结合的传感器数据融合方法。首先建立了观测模型,并使用模糊贴近度的方法将Kinect深度摄像头获取的数据和激光雷达数据进行首次融合;然后使用自适应加权的方法对权值系数进行二次加权修正;最后将使用该方法构建的地图与单一传感器构建的地图进行了对比分析。通过实验证明,使用该方法获得的数据更加可靠,获取的地图精确度更高、环境特征表现更加平滑,验证了所提算法的有效性。     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

基于集员滤波的双Kinect人体关节点数据融合

以Kinect为代表的深度图像传感器在肢体康复系统中得到广泛应用.单一深度图像传感器采集人体关节点数据时由于肢体遮挡、传感器数据错误和丢失等原因降低系统可靠性.本文研究了利用两台Kinect深度图像传感器进行数据融合从而达到消除遮挡、数据错误和丢失的目的,提高康复系统中数据的稳定性和可靠性.首先,利用两台Kinect采集患者健康侧手臂运动数据;其次,对两组数据做时间对准、Bursa线性模型下的坐标变换和基于集员滤波的数据融合;再次,将融合后的健康侧手臂运动数据经过“镜像运动”作为患侧手臂运动指令;最后,将患侧运动指令下发给可穿戴式镜像康复外骨骼带动患者患侧手臂完成三维动画提示的康复动作,达到患者主动可控康复的目的.本文通过Kinect与VICON系统联合实验以及7自由度机械臂控制实验验证了数据融合方法的有效性,以及两台Kinect可有效解决上述问题.     

基于RGB-D序列的人体动态建模方法

人体建模是计算机视觉研究领域的重要研究课题。人体建模被广泛应用于科研、动画、游戏、服装设计、工业等领域,具有非常广阔的应用前景。传统的建模方法可以在大体上还原人体的姿态,但细节上会有偏差。本文提出一种基于RGB—D序列的人体动态建模方法。人体在场景中自然活动,利用廉价的深度摄像设备Kinect可以获取人体的骨架信息和三维点云。利用获得的骨架信息将模板人体分段刚性地变形到目标位置,使用ICP算法将变形后的模型与Kinect获取的点云进行更精确的配准,使用TPS变形获得一个平滑的柔性形变人体。     

基于ASIFT算法的低重叠度无人机影像拼接方法

在无人机平台上采用低重叠方式成像能够大大提高数据获取效率,可满足包括应急救援和航空侦察等时效性要求很高的特殊领域应用需求。然而,此类影像具有重叠度低和旋转角大的特点,利用常规正射影像镶嵌的方法进行拼接往往带来较大的拼接误差。提出了基于ASIFT算法的低重叠图像配准方法,并对序列影像做光束法平差处理,得到最优变换矩阵后,结合多分辨率样条融合算法进行全景影像输出。实验结果表明:该方法可以获取足够数量稳定的匹配点对,较好地约束了序列影像之间的几何关系,得到的拼接影像无缝清晰,适应于低重叠度无人机影像的快速拼接。     

基于Kinect和变形雅可比-傅里叶矩的手势识别

为了使人机交互变得更加自然,提出利用Kinect体感器获取手势深度图像;利用变形雅可比-傅里叶矩对手势图像进行特征提取;利用最小欧氏距离分类器进行建模、分类,实现手势识别.用Kinect体感器获取手部深度数据流,深度数据结合阈值分割法,可以有效地实现手势的分割.变形雅可比-傅里叶矩是一种不变矩,不变矩具有灰度、平移、旋转和尺度不变性,适合用于多畸变不变图像的特征提取.实验对5种手势进行了测试,平均识别率为95.2％,实验结果表明:该方法具有较高的识别率.     

基于控制点配准算法的无人机遥感影像自动无缝拼接技术

传统无人机遥感影像自动无缝拼接技术无法精准匹配影像信息,导致无人机遥感影像拼接结果出现大量缝隙,拼接效果差。因此提出了基于控制点配准算法的无人机遥感影像自动无缝拼接技术。遵循无人机影像成像原理,获取无人机遥感影像,并将数据以图像格式文件形式存储。设置阈值,剔除最邻近域和次邻域比值大于阈值的控制点,对影像坐标平移和缩放数据标准化处理,彻底消除坐标变换对图像配准影响。构建相似变换矩阵,获取新的控制点集,使用直接线性变换算法预估变换矩阵,得到线性解。经过粗、细配准,确定不同图像重叠区域。搜索最佳拼接线,使用加权平均融合法消除拼接缝,由此设计拼接流程。由实验结果可知,该技术能够精准匹配影像信息,检测到影像最大分辨率为1000*800,具有良好拼接效果。     

3D Reconstruction of Indoor Scenes via Image Registration

With the development of computer vision technologies, 3D reconstruction has become a hotspot. At present, 3D reconstruction relies heavily on expensive equipment and has poor real-time performance. In this paper, we aim at solving the problem of 3D reconstruction of an indoor scene with large vertical span. In this paper, we propose a novel approach for 3D reconstruction of indoor scenes with only a Kinect. Firstly, this method uses a Kinect sensor to get color images and depth images of an indoor scene. Secondly, the combination of scale-invariant feature transform and random sample consensus algorithm is used to determine the transformation matrix of adjacent frames, which can be seen as the initial value of iterative closest point (ICP). Thirdly, we establish the relative coordinate relation between pair-wise frames which are the initial point cloud data by using ICP. Finally, we achieve the 3D visual reconstruction model of indoor scene by the top-down image registration of point cloud data. This approach not only mitigates the sensor perspective restriction and achieves the indoor scene reconstruction of large vertical span, but also develops the fast algorithm of indoor scene reconstruction with large amount of cloud data. The experimental results show that the proposed algorithm has better accuracy, better reconstruction effect, and less running time for point cloud registration. In addition, the proposed method has great potential applied to 3D simultaneous location and mapping.     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

基于Kinect的改进移动机器人视觉SLAM

针对传统ICP（iterative closest points,迭代最近点算法）存在易陷入局部最优、匹配误差大等问题,提出了一种新的欧氏距离和角度阈值双重限制方法,并在此基础上构建了基于Kinect的室内移动机器人RGB-D SLAM（simultaneous localization and mapping）系统。首先,使用Kinect获取室内环境的彩色信息和深度信息,通过图像特征提取与匹配,结合相机内参与像素点深度值,建立三维点云对应关系;然后,利用RANSAC（random sample consensus）算法剔除外点,完成点云的初匹配;采用改进的点云配准算法完成点云的精匹配;最后,在关键帧选取中引入权重,结合g2o（general graph optimization）算法对机器人位姿进行优化。实验证明该方法的有效性与可行性,提高了三维点云地图的精度,并估计出了机器人运行轨迹。     

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

Human action recognition based on scene semantics

Like outdoors, indoor security is also a critical problem and human action recognition in indoor area is still a hot topic. Most studies on human action recognition ignored the semantic information of a scene, whereas indoors contains varieties of semantics. Meanwhile, the depth sensor with color and depth data is more suitable for extracting the semantics context in human actions. Hence, this paper proposed an indoor action recognition method using Kinect based on the semantics of a scene. First, we proposed a trajectory clustering algorithm for a three-dimensional (3D) scene by combining the different characteristics of people such as the spatial location, movement direction, and speed. Based on the clustering results and scene context, it concludes a region of interest (ROI) extraction method for indoors, and dynamic time warping (DTW) is used to study the abnormal action sequences. Finally, the color and depth-data-based 3D motion history image (3D–MHI) features and the semantics context of the scene were combined to recognize human action. In the experiment, two datasets were tested and the results demonstrate that our semantics-based method performs better than other methods.

     

移动机器人基于三维激光测距的室内场景认知

研究了移动机器人在室内三维环境中的场景认知问题.室内场景框架具有结构化特性,而室 内多样化的物体则难以进行模型化表述. 本文利用区域扩张算法进行平面特征的提取,并根据平面属性及其相互间的空间关系,完成室 内场景框架的辨识.为了借鉴图像处理领域的物体识别方法, 本文提出一种基于Bearing Angle模型的激光测距数据表述方法,从而将三维点云数据转换为二维Bearing Angle图. 同一类物体中的个体形态具有多样性,同时观测视角也导致激光测距数据的显著差异.针对这些 问题,采用一种基于Gentleboost算法的有监督学习方法, 并利用物体碎片及其相对于物体中心的位置作为特征,从而完成室内场景中的物体认知. 利用室内场景框架辨识结果在Bearing Angle图中进行天棚、地面、墙壁、房门等区域的标记,并利用所产生的语义信息去除错误的认知结果,从而有助于提高识别率. 利用实际机器人平台所获得的实验结果验证了所提方法的有效性.     

Comparative evaluation of range sensor accuracy for indoor mobile robotics and automated logistics applications

3D range sensing is an important topic in robotics, as it is a component in vital autonomous subsystems such as for collision avoidance, mapping and perception. The development of affordable, high frame rate and precise 3D range sensors is thus of considerable interest. Recent advances in sensing technology have produced several novel sensors that attempt to meet these requirements. This work is concerned with the development of a holistic method for accuracy evaluation of the measurements produced by such devices. A method for comparison of range sensor output to a set of reference distance measurements, without using a precise ground truth environment model, is proposed. This article presents an extensive evaluation of three novel depth sensors — the Swiss Ranger SR-4000, Fotonic B70 and Microsoft Kinect. Tests are concentrated on the automated logistics scenario of container unloading. Six different setups of box-, cylinder-, and sack-shaped goods inside a mock-up container are used to collect range measurements. Comparisons are performed against hand-crafted ground truth data, as well as against a reference actuated Laser Range Finder (aLRF) system. Additional test cases in an uncontrolled indoor environment are performed in order to evaluate the sensors’ performance in a challenging, realistic application scenario.     

基于深度信息的移动机器人室内环境三维地图创建

针对使用扩展卡尔曼滤波(EKF）进行环境地图的创建对线性系统效果较好而对非线性系统的线性化受误差影响较大的问题,提出一种基于对Kinect采集到的环境数据和迭代扩展卡尔曼滤波(IEKF）算法的室内环境三维地图创建。该方法使用成本较低的Kinect传感器获取深度数据然后结合IEKF实现摄像头轨迹预测,最后利用最近点迭代(ICP）算法对深度图像进行配准得到室内环境三维点云图。实验结果表明,IEKF算法与传统的EKF算法相比,得到的轨迹更平滑、误差更小,同时所得到的三维点云图更加光滑。该方法实现了三维地图构建,较为实用,效果较好。