Kinect v2的三维物体重建系统设计

三维物体重建一直是计算机图形学领域研究的热点。设计并实现一套基于Kinect v2的三维物体重建系统。使用Kinect v2获取包含物体所在场景的点云,去除离群点,并用三维包围盒将特定的物体点云从场景中分离出来;利用SAC-IA算法对相邻两片点云进行粗配准,将两两配准的ICP算法扩展到多片点云,提出一种从两边向中间逼近的策略,减少累积误差,提高物体点云还原度;实现一套低成本,精确的针对单个物体的三维重建系统。实验结果表明,与传统的只使用ICP算法配准相比,该算法配准的精度更高,重建还原度更好。     

基于Kinect相机和改进ICP的三维物体重建

针对三维物体重建过程中存在的配准精度差问题,提出一种改进的 IC P算法。先利用动态设定的距离函数阈值,再利用高斯曲率相似性,去除错误匹配点对,在迭代结束后给出结果评价准则,提高ICP算法的精度。在使用Kinect相机采集到点云数据后,利用改进的IC P算法进行局部配准,将局部配准的结果应用于全局配准,得到完整的三维物体模型。实验结果表明,该算法配准精度高,能有效地应用于三维物体重建。     

基于Kinect的人体三维重建方法

通过Kinect体感仪,实现人体三维重建.使用Kinect体感仪,扫描获取人体三维数据,利用深度数据转换算法实现二维顶点的三维化,再通过红外相机姿态跟踪算法进行顶点集配准,求解出相机每次的相对位移与转动角度,实现相机姿态跟踪,并将每次拍摄到的点集转换到同一全局坐标系下,使用晶格化显示集成算法将点云集成到提前划分好精度及尺寸的体素晶格中,最后利用投影映射算法获得可视化的人体三维立体模型.使用Kinect体感仪及三脚架等辅助设备方便快捷地获取人体三维重建结果,并通过3D打印技术对模型进行输出.该研究实现了人体三维重建中人体扫描、处理、重建、输出全流程.     

基于机械臂的Kinect车辆轮廓点云配准

车辆轮廓的三维点云模型在汽车智能化制造及维保过程中具有重要作用。为提高点云配准的精度和效率,以汽车维保机器人为研究对象,提出一种基于点云数据处理技术的车辆轮廓扫描定位及点云数据配准方法。在机械臂末端安装Kinect深度传感器实现精准移动,在汽车四周采集点云数据并进行预处理,根据机械臂运动学方程计算传感器采样位姿,完成初步配准。在此基础上,使用迭代最近点算法完成车辆轮廓点云的精确配准。实验结果表明,该方法可完成各视角点云数据的准确、快速配准,得到完整的三维点云数字模型。     

基于全局配准累积误差极小的人体RGB-D数据三维重建

针对RGB-D扫描数据获取和人体三维重建过程中存在扫描数据分辨率不高、噪声干扰影响较大、配准误差较大等问题,提出一种基于累积误差极小的RGB-D扫描数据全局配准的人体模型三维重建方法.首先采集人体扫描数据并进行预处理,去除噪声和背景;然后利用基于三维点特征描述符匹配求解局部扫描数据的粗略配准,并通过最近点迭代的方法进行精细配准;再构建局部配准数据加权图,通过最小生成树方法合并局部相邻帧数据来减少全局误差传播的影响,利用环闭合的方法解决累积误差问题并得到全局刚体配准结果;通过对全局刚体配准后的数据依次进行非刚体变换并不断融合配准后数据,解决扫描过程中的移动问题,进一步减少全局累积误差;最后利用全局配准结果和扫描数据中的颜色信息生成融合颜色信息的人体三维重建模型.利用2台Kinect设备扫描获取的人体全方位扫描数据进行实验的结果表明,该方法能够方便、高效地重建具有高度真实感的三维人体,而且重建生成的三维人体测量尺寸与真实人体尺寸之间的误差较小.     

基于Kinect-v2的多视角三维重建实现

设计并实现了一种基于Kinect v2的简单快速、低成本实现三维重建的系统,适合离线操作且不受硬件设备限制,使用Kinect v2传感器获取不同视角的多片点云,分别将目标模型点云与周围场景点云分离并去除离群点云,利用RANSAC算法对相邻两片点云进行粗配准,将两两配准的ICP算法扩展到多片点云,设定角度阈值从两边向中间逼近的策略,减少累积误差,提高物体点云还原度,实现单个静态物体的三维重建。实验结果表明,本文在目标物较小重叠且结构特征不突出的情况下,仍能得到较好的三维点云模型,具有一定的实际应用价值。     

基于Kinect的点云配准方法

Kinect采集的点云存在点云数量大、点云位置有误差,直接使用迭代最近点(ICP)算法对点云进行配准时效率低.针对该问题,提出一种基于特征点法向量夹角的改进点云配准算法.首先使用体素栅格对Kinect采集的原始点云进行下采样,精简点云数量,并使用滤波器移除离群点.然后使用SIFT算法提取目标点云与待配准点云公共部分的特征点,通过计算特征点法向量之间的夹角调整点云位姿,完成点云的初始配准.最后使用ICP算法完成点云的精细配准.实验结果表明,该算法与传统ICP算法相比,在保证点云配准精度的同时,能够提高点云的配准效率,具有较高的适用性和鲁棒性.     

基于Kinect的实物地质标本三维重建

基于多视点图像运动结构恢复的三维重建方法相当耗时且鲁棒性低,针对以上问题,提出了一种基于Kinect的实物地质标本的三维重建方法. 首先使用GrabCut算法提取前景目标,结合原始深度图像生成对应视角的点云,再基于SIFT特征利用RANSAC算法执行点云粗对准,然后在ICP算法中引入异常值拒绝方法和动态调整权重思想进行点云精细配准,最终重建出完整三维点云模型. 实验结果表明该方法能快速重建出良好的实物地质标本三维点云模型,能有效处理标本缺少结构特征的情况,并且鲁棒性高.     

基于纹理特征的三维点云数据配准算法研究

使用Kinect可以方便地获取物体的纹理图像和三维点云数据。研究一种通过获取纹理图像的特征点进行快速三维点云数据配准的算法．并最终应用到室内环境的三维场芾重建中。实验表明,此算法具有直观、实现简单、运算量小等优点。     

基于FPFH-ICP的三维工件点云配准方法研究

针对三维工件点云配准方法存在配准精度低等问题,笔者提出一种基于快速点特征直方图（Fast Point Feature Histogram,FPFH）初始匹配与迭代最近点（Iterative Closest Point,ICP）的点云配准方法。首先,在配准前使用随机抽样一致（Random Sample Consensus,RANSAC）算法对初始点云数据进行预处理,获得目标点云数据;其次,使用FPFH算法提取点云特征,进行特征匹配,求得初始变换矩阵;再次,使用ICP算法对初始变换矩阵进行增益,求得最终变换矩阵;最后,完成点云精确配准。基于三维工件点云,将本文算法与经典算法对比测试。实验结果表明,本文算法在配准精度上有所提高。     

3D Reconstruction of Indoor Scenes via Image Registration

With the development of computer vision technologies, 3D reconstruction has become a hotspot. At present, 3D reconstruction relies heavily on expensive equipment and has poor real-time performance. In this paper, we aim at solving the problem of 3D reconstruction of an indoor scene with large vertical span. In this paper, we propose a novel approach for 3D reconstruction of indoor scenes with only a Kinect. Firstly, this method uses a Kinect sensor to get color images and depth images of an indoor scene. Secondly, the combination of scale-invariant feature transform and random sample consensus algorithm is used to determine the transformation matrix of adjacent frames, which can be seen as the initial value of iterative closest point (ICP). Thirdly, we establish the relative coordinate relation between pair-wise frames which are the initial point cloud data by using ICP. Finally, we achieve the 3D visual reconstruction model of indoor scene by the top-down image registration of point cloud data. This approach not only mitigates the sensor perspective restriction and achieves the indoor scene reconstruction of large vertical span, but also develops the fast algorithm of indoor scene reconstruction with large amount of cloud data. The experimental results show that the proposed algorithm has better accuracy, better reconstruction effect, and less running time for point cloud registration. In addition, the proposed method has great potential applied to 3D simultaneous location and mapping.     

同态滤波下RGB-D点云配准方法

目的 为了提高彩色物体配准的精度,针对3维点云颜色信息易受光照条件影响的问题,提出一种基于光照补偿的RGB-D（RGB Depth）点云配准方法。方法 引入同态滤波算法,并将模型对象的3维点云转化成线性点序列,从而对颜色信息进行光照补偿,以提高颜色信息的一致性;获取模型的颜色和几何特征并加权组合成混合特征,以此定义源点云的特征点,并运用K近邻算法搜索其对应点;用奇异值分解（SVD）得到配准的刚性变换矩阵。结果 进行传统的迭代最近点法（ICP）算法、深度信息与色调相结合的算法以及本文算法在不同的光照强度组合的模型配准对比实验,结果显示,在网面凹凸均匀的大卫模型上,配准时间及特征点匹配平均误差方面均约减少到对比方法的1/2;在网面光滑的barrel模型和网面凹凸不一致的阿基米德模型上,特征点匹配平均误差约分别减少到对比方法的1/6和1/8。此外,与Super 4-Points Congruent Set（Super 4PCS）、彩色点云配准算法在不同组合光照强度下进行对比实验,针对4种不同的网面结构模型,本文算法的SIFT特征点距离平均误差全距约减少到对比方法的1/5。结论 利用同态滤波算法抑制光照影响,提高了颜色信息的一致性,在一定效果上消除了光照强度不均匀对3维点云配准精度的干扰。     

基于Kinect的改进移动机器人视觉SLAM

针对传统ICP（iterative closest points,迭代最近点算法）存在易陷入局部最优、匹配误差大等问题,提出了一种新的欧氏距离和角度阈值双重限制方法,并在此基础上构建了基于Kinect的室内移动机器人RGB-D SLAM（simultaneous localization and mapping）系统。首先,使用Kinect获取室内环境的彩色信息和深度信息,通过图像特征提取与匹配,结合相机内参与像素点深度值,建立三维点云对应关系;然后,利用RANSAC（random sample consensus）算法剔除外点,完成点云的初匹配;采用改进的点云配准算法完成点云的精匹配;最后,在关键帧选取中引入权重,结合g2o（general graph optimization）算法对机器人位姿进行优化。实验证明该方法的有效性与可行性,提高了三维点云地图的精度,并估计出了机器人运行轨迹。     

3D scanning of cultural heritage with consumer depth cameras

Three dimensional reconstruction of cultural heritage objects is an expensive and time-consuming process. Recent consumer real-time depth acquisition devices, like Microsoft Kinect, allow very fast and simple acquisition of 3D views. However 3D scanning with such devices is a challenging task due to the limited accuracy and reliability of the acquired data. This paper introduces a 3D reconstruction pipeline suited to use consumer depth cameras as hand-held scanners for cultural heritage objects. Several new contributions have been made to achieve this result. They include an ad-hoc filtering scheme that exploits the model of the error on the acquired data and a novel algorithm for the extraction of salient points exploiting both depth and color data. Then the salient points are used within a modified version of the ICP algorithm that exploits both geometry and color distances to precisely align the views even when geometry information is not sufficient to constrain the registration. The proposed method, although applicable to generic scenes, has been tuned to the acquisition of sculptures and in this connection its performance is rather interesting as the experimental results indicate.     

基于Kinect的旋转刚体三维重建方法

针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法。首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求。实验结果表明:该方法具有重建效果良好的特点。     

RGBD融合明暗恢复形状的全视角三维重建技术研究

为了高效、高精度、低成本地实现对物体的全视角三维重建, 提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法, 即在原有的深度数据上加上额外的光照约束来优化深度值; 在相邻两帧配准时, 采用快速点特征直方图（Fast point feature histograms, FPFH）特征进行匹配并通过随机采样一致性（Random sample consensus, RANSAC）滤除错误的匹配点对求解粗配准矩阵, 然后通过迭代最近点（Iterative closest point, ICP）算法进行精配准得出两帧间的配准矩阵; 在进行全视角的三维重建时, 采用光束平差法优化相机位姿, 从而消除累积误差使首尾帧完全重合, 最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。     

面向RGBD深度数据的快速点云配准方法

目的 真实物体的3维重建一直是计算机图形学、机器视觉等领域的研究热点。针对基于RGBD数据的非匀速非固定角度旋转物体的3维重建问题,提出一种利用旋转平台重建物体3维模型的配准方法。方法 首先通过Kinect采集位于旋转平台上目标物的深度数据和颜色数据,对齐融合并使用包围盒算法去除背景噪声和不需要的外部点云,获得带有颜色信息的点云数据。并使用基于标定物不同角度上的点云数据标定出旋转平台中心轴的位置,从而获得Kinect与旋转平台之间的相对关系;然后通过曲率特征对目标点云进行特征点提取并寻找与相邻点云的对应点;其中对于特征点的选取,首先针对点云中的任意一点利用kd-tree搜寻其k个邻近点,对这些点进行曲面拟合,进而计算其高斯曲率,将高斯曲率绝对值较大的n个点作为点云的特征点。n的取值由点云的点个数、点密度和复杂度决定,具体表现为能反映物体的大致轮廓或表面特征信息即可。对于对应点的选取,考虑到欧氏距离并不能较好反映点云中的点对在旋转过程中的对应关系,在实际配准中,往往会因为点云重叠或距离过远等原因找到大量错误的对应点。由于目标物在扫描过程中仅绕旋转轴进行旋转,因此采用圆弧最小距离寻找对应点可有效减少错误点对。随后,使用二分迭代寻找绕中心轴的最优旋转角度以满足点云间的匹配误差最小;最后,将任意角度获取的点云数据配准到统一的坐标系下并重建模型。结果 使用斯坦福大学点云数据库和自采集数据库分别对该方法和已有方法在算法效率和配准结果上进行对比实验,实验结果显示在拥有平均75 000个采样点的斯坦福大学点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少86.5%、57.5%,算法运行时间分别平均减少87%、60.75%,欧氏距离误差平方和分别平均减少70%、22%;在具有平均57000个采样点的自采集点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少94%、75%,算法运行时间分别平均减少92%、69%,欧氏距离误差平方和分别平均减少61.5%、30.6%;实验结果显示使用该方法进行点云配准效率较高且配准误差更小;和KinectFusion算法相比在纹理细节保留上也表现出较好的效果。结论 本文提出的基于旋转平台标定的点云配准算法,利用二分迭代算法能够有效降低算法复杂度。与典型ICP和改进的ICP算法的对比实验也表明了本文算法的有效性。另外,与其他方法在具有纹理的点云配准对比实验中也验证了本文配准方法的优越性。该方法仅采用单个Kinect即可实现对非匀速非固定角度旋转物体的3维建模,方便实用,适用于简单快速的3维重建应用场合。     

Neighboring constraint-based pairwise point cloud registration algorithm

Three-dimensional point cloud registration is important in reverse engineering. In this paper, we propose a registration method for large-scale 3D point clouds, which is based on neighborhood constraints of geometrical features. The method consists of initial and exact registration steps.In the process of initial registration, we define a new functon that measures feature similarity by calculating the distance function, and in the process of exact registration, we introduce the angle information that improve the accuracy of iterative closest point algorithm. Compared with the traditional feature-based and iterative closest point algorithms, our method significantly reduced the registration time by 11.9 % and has only 1 % of the registration error of the traditional feature-based algorithm. The proposed algorithm can be used to create efficient 3D models for virtual plant reconstruction and computer-aided design, and the registration results can provide a reference for virtual plant reconstruction and growth.     

3D point cloud registration denoising method for human motion image using deep learning algorithm

Aiming at the problem of 3D point cloud noise affecting the efficiency and precision of human body 3D reconstruction in complex scenes, a 3D point cloud registration denoising method for human motion image using depth learning algorithm is proposed. First, two Kinect sensors are used to collect the three-dimensional data of the human body in the scene, and the spatial alignment under the Bursa linear model is used to pre-process the background point cloud data. The depth image of the point cloud is calculated, and the depth image pair is extracted by the convolutional neural network. Furthermore, the feature difference of the depth image pair is taken as the input of the fully connected network and the point cloud registration parameter is calculated, and the above operation is performed iteratively until the registration error is less than the acceptable threshold. Then, the improved C-means algorithm is used to remove the outlier, the noise is clustered, and the large-scale outlier noise is removed. Finally, the high-frequency information is processed by the depth data bilateral filtering method. The experimental results show that compared with the traditional bilateral filtering algorithm and fuzzy C-means algorithm, the proposed method can effectively remove noise of different scales and maintain good performance on the basis of maintaining human body features. In the point cloud model of A, B, and C, the average error of the proposed method is lower than that of the traditional bilateral filtering algorithm with 15.7%, 15.9%, and 19.8%, respectively, and it is lower than that of the fuzzy C-means algorithm with 25.8%, 26.9%, and 30.2%, respectively.