基于Kinect人体脚型三维构建

针对传统测量方法成本高、操作复杂、图像特征匹配率准确度不高等问题,提出了一种将Kinect传感器与计算机视觉技术相结合的构建人体三维脚型的方法。利用Kinect传感器搭建测量系统,获取不同角度的深度信息图像,通过改进的Harris-SIFT算法对特征点进行提取与匹配,并通过迭代最近点(ICP)算法完成对点云数据的拼接。结果表明:所提方法能够便捷、准确地实现人体三维脚型的构建。     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

基于Kinect的三维视觉里程计的设计

针对移动服务机器人在未知环境下三维路径估计的问题,设计了一种基于Kinect的实时估计机器人运动轨迹的方法。该方法采用Kinect获取机器人运动过程中连续帧的彩色和深度信息,首先,提取并匹配目标帧和参考帧的SURF的特征点;然后,结合深度信息利用经典P3P问题的方法及改进的随机采样一致性(RANSAC)算法计算机器人的初始6自由度(DOF)位姿;最后,通过非线性最小二乘算法最小化初始位姿内点的双向投影误差来提高位姿精度,进而得到机器人的运动轨迹。同时对比了不同特征点及描述符结合下的里程计精度。实验结果表明,所提方法能够将里程计误差降低到3.1%,且能够满足实时要求,可为机器人同时定位与地图创建提供重要的先验信息。     

基于Kinect深度图像的三维重建

随着机器视觉理论的发展和硬件技术的进步,三维重建在生产、生活中的应用越来越广泛,基于Kinect传感器的三维重建得到广泛的应用。针对于现有的Kinect传感器获得的深度图像深度信息丢失的问题,提出了一种新的基于均值滤波的方法对深度图像进行去噪,并对深度图像进行预处理,获取三维点云,用迭代最近点(Iterative Closest Point,ICP)算法完成点云的精确配准,从而得到配准后物体表面三维点云,并完成物体的三维重建。     

基于Kinect的轴类零件三维重建研究

使用Kinect采集的深度数据,进行了轴类零件三维重建算法的研究。首先借助Kinect获取深度和彩色数据,通过坐标转换将深度信息转换成三维点云数据;其次提取出感兴趣目标的点云数据,根据点云数据的噪声特点,并对其进行滤波降噪处理;然后进行点云分割获得点云集,最后对各点云集进行结构参数化分析。实验结果表明,本文算法能够精确、高效地实现轴类零件的重建。     

基于Kinect的服务机器人任务操控学习方法的研究

本文围绕中国科学院深圳先进技术研究院认知技术研究中心自行研发的搭载有Kinect传感器的服务机器人操控平台,从Kinect传感器带来的彩色图像、深度图像和真三维点云信息中提取基于图像的2D和基于点云的3D特征,并将它们进行融合,作为待识别物体几何模型归类的依据,为手爪选择合适抓取姿态提供判断准则。同时结合人体示范学习框架（Learning from demonstration,LFD）,研究了一种通过提高机器人的认知学习能力来完成人类生活环境中室内日常物品操控任务的方法,如：自行识别门把手的位置并完成开门动作,从橱柜中识别出目标物,抓取目标物体并送到指定目标地点等。最后,我们通过实验验证,该方法能够保证服务机器人成功抓取一些类似圆柱状、长方体等几何形态的物体并能在抓取之后顺利完成与周围环境进行交互过程中的轨迹规划这一复杂任务。     

基于机械臂的Kinect车辆轮廓点云配准

车辆轮廓的三维点云模型在汽车智能化制造及维保过程中具有重要作用。为提高点云配准的精度和效率,以汽车维保机器人为研究对象,提出一种基于点云数据处理技术的车辆轮廓扫描定位及点云数据配准方法。在机械臂末端安装Kinect深度传感器实现精准移动,在汽车四周采集点云数据并进行预处理,根据机械臂运动学方程计算传感器采样位姿,完成初步配准。在此基础上,使用迭代最近点算法完成车辆轮廓点云的精确配准。实验结果表明,该方法可完成各视角点云数据的准确、快速配准,得到完整的三维点云数字模型。     

基于Kinect的移动机器人大视角3维V-SLAM

针对大视角情况下,移动机器人3维视觉同步定位与地图构建(visual simultaneous localization and mapping,V-SLAM)性能下降的问题,提出了一种仿射不变特征匹配算法AORB(affine oriented FAST and rotated BRIEF)并在此基础上构建了基于Kinect的移动机器人大视角3D V-SLAM系统.首先对Kinect相机采集到的彩色RGB数据采用AORB算法实现具有大视角变化的相邻帧图像之间的快速有效匹配以建立相邻帧之间的对应关系;然后根据Kinect相机标定得到的内外参数以及对准校正后的像素点深度值将2D图像点转换为3D彩色点云数据;接着结合随机抽样一致性算法(RANdom Sample Consensus,RANSAC)去除3D点云中的外点,并利用RANSAC的内点进行最小二乘算法下机器人相邻位姿的估计;最后采用g2o(general graph optimization)优化方法对机器人位姿进行优化,从而建立3D V-SLAM模型.最终实现了移动机器人大视角3D视觉SLAM.基于标准数据集的离线实验和基于真实环境的机器人在线实验结果表明,本文所提出的匹配算法和所构建的3D V-SLAM系统在大视角情况下能完成局部模型的准确更新,成功地重构出环境模型并有效地估计出机器人的运动轨迹.     

基于VR和Kinect的定制鞋设计

针对传统制鞋业定制化程度低,无法适应足部多样性、舒适性,造成鞋业资源的浪费,无法满足当代顾客追求个性化的心里等问题,提出了一种基于VR和Kinect的定制鞋设计方法。对个体足部特征进行测量分析,利用三维建模以及VR技术,实现个体鞋的定制设计。首先,使用Kinect3D摄像机进行足部三维扫描,获取足部深度信息数据并转换成点云数据,利用kd-tree算法及贪婪投影三角化算法进行足部点云的去噪处理和点云重构,在Meshlab软件中测量数据并结合MAYA软件完成三维鞋的建模。最后,结合Unity引擎,设计虚拟交互界面,实现纹理贴图和更换,完成定制鞋系统。结果证明,该系统可以快速的进行人机交互,实现鞋的三维定制,满足顾客个性化的心理需求,会对鞋业的发展产生很大的推进作用。     

基于Kinect传感器和ORB特征的视觉SLAM算法设计与实现

介绍了一个基于嵌入式平台和Kinect传感器的同时定位与地图创建算法的设计与实现。Kinect传感器包括一个可见光彩色摄像头和一个利用结构光测量深度的红外CMOS摄像头。 算法利用ORB算子作为环境特征点的描述信息,并利用基于边沿的最近邻修复方法对深度图像进行修正以获得完整的深度信息。在此基础上,利用LSH方法进行特征点的匹配。实验结果表明,基于ORB特征的视觉SLAM算法具有较好的实用性和良好的定位精度,可以广泛应用于室内机器人的自主导航任务。     

基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

3D Reconstruction of Indoor Scenes via Image Registration

With the development of computer vision technologies, 3D reconstruction has become a hotspot. At present, 3D reconstruction relies heavily on expensive equipment and has poor real-time performance. In this paper, we aim at solving the problem of 3D reconstruction of an indoor scene with large vertical span. In this paper, we propose a novel approach for 3D reconstruction of indoor scenes with only a Kinect. Firstly, this method uses a Kinect sensor to get color images and depth images of an indoor scene. Secondly, the combination of scale-invariant feature transform and random sample consensus algorithm is used to determine the transformation matrix of adjacent frames, which can be seen as the initial value of iterative closest point (ICP). Thirdly, we establish the relative coordinate relation between pair-wise frames which are the initial point cloud data by using ICP. Finally, we achieve the 3D visual reconstruction model of indoor scene by the top-down image registration of point cloud data. This approach not only mitigates the sensor perspective restriction and achieves the indoor scene reconstruction of large vertical span, but also develops the fast algorithm of indoor scene reconstruction with large amount of cloud data. The experimental results show that the proposed algorithm has better accuracy, better reconstruction effect, and less running time for point cloud registration. In addition, the proposed method has great potential applied to 3D simultaneous location and mapping.     

基于深度信息的移动机器人室内环境三维地图创建

针对使用扩展卡尔曼滤波(EKF）进行环境地图的创建对线性系统效果较好而对非线性系统的线性化受误差影响较大的问题,提出一种基于对Kinect采集到的环境数据和迭代扩展卡尔曼滤波(IEKF）算法的室内环境三维地图创建。该方法使用成本较低的Kinect传感器获取深度数据然后结合IEKF实现摄像头轨迹预测,最后利用最近点迭代(ICP）算法对深度图像进行配准得到室内环境三维点云图。实验结果表明,IEKF算法与传统的EKF算法相比,得到的轨迹更平滑、误差更小,同时所得到的三维点云图更加光滑。该方法实现了三维地图构建,较为实用,效果较好。     

基于Kinect的旋转刚体三维重建方法

针对在非匀速非定轴旋转条件下利用Kinect进行刚体三维重建问题,提出一种改进的基于Kinect传感器的旋转刚体三维重建方法。首先利用Kinect采集深度图像,然后用改进的加权ICP(Iterative Closest Point)算法在非匀速非定轴旋转条件下进行配准,再将各点云变换到同一坐标系下,最后根据所得点云生成三维模型表面,通过GPU(Graphic Processing Unit)编程技术来提高计算速度以满足实际需求。实验结果表明:该方法具有重建效果良好的特点。     

Real-time visual odometry estimation based on principal direction detection on ceiling vision

In this paper,we present a novel algorithm for odometry estimation based on ceiling vision.The main contribution of this algorithm is the introduction of principal direction detection that can greatly reduce error accumulation problem in most visual odometry estimation approaches.The principal direction is defned based on the fact that our ceiling is flled with artifcial vertical and horizontal lines which can be used as reference for the current robot s heading direction.The proposed approach can be operated in real-time and it performs well even with camera s disturbance.A moving low-cost RGB-D camera(Kinect),mounted on a robot,is used to continuously acquire point clouds.Iterative closest point(ICP) is the common way to estimate the current camera position by registering the currently captured point cloud to the previous one.However,its performance sufers from data association problem or it requires pre-alignment information.The performance of the proposed principal direction detection approach does not rely on data association knowledge.Using this method,two point clouds are properly pre-aligned.Hence,we can use ICP to fne-tune the transformation parameters and minimize registration error.Experimental results demonstrate the performance and stability of the proposed system under disturbance in real-time.Several indoor tests are carried out to show that the proposed visual odometry estimation method can help to signifcantly improve the accuracy of simultaneous localization and mapping(SLAM).     

基于Kinect的人体三维重建方法

通过Kinect体感仪,实现人体三维重建.使用Kinect体感仪,扫描获取人体三维数据,利用深度数据转换算法实现二维顶点的三维化,再通过红外相机姿态跟踪算法进行顶点集配准,求解出相机每次的相对位移与转动角度,实现相机姿态跟踪,并将每次拍摄到的点集转换到同一全局坐标系下,使用晶格化显示集成算法将点云集成到提前划分好精度及尺寸的体素晶格中,最后利用投影映射算法获得可视化的人体三维立体模型.使用Kinect体感仪及三脚架等辅助设备方便快捷地获取人体三维重建结果,并通过3D打印技术对模型进行输出.该研究实现了人体三维重建中人体扫描、处理、重建、输出全流程.     

基于3D-Harris 与FPFH 改进的3D-NDT 配准算法

针对传统点云配准三维正态分布变换(3D-NDT)、迭代最近点(ICP)算法在未给定初 始配准估计的情况下配准效果不佳、配准时间长、误差较大的缺陷,提出了精准且相对高效的 点云匹配算法。首先,运用3D-Harris 算法识别每一幅点云的关键点,并以此为基本点建立局 部参考框架,计算快速点特征直方图(FPFH)描述子;之后,使用最小中值法(LMeds)中的对应 估计算法排除不准确的点对应关系,得到含有对应三维特征关系的特征点对。计算粗配准所需 的变换矩阵,完成初步匹配。随后,根据3D-NDT 算法将点云数据空间体素化,运用概率分布 函数完成最终的点云进行精确地匹配。使用改进配准将3 组分别从网络下载的较少噪声、大规 模与Kinect V2.0 采集的较多噪声、大规模的2 组重叠度不同的点云数据匹配到同一个空间参考 框架中,并通过精度分析对比经典3D-NDT,ICP 等算法。实验结果证明,该算法在迭代次数 较低时,可使室内场景点云数据完成精度较高的配准且受噪声影响较小,但如何将算法的复杂 度适当降低,缩短配准时间需要更进一步的研究。     

同态滤波下RGB-D点云配准方法

目的 为了提高彩色物体配准的精度,针对3维点云颜色信息易受光照条件影响的问题,提出一种基于光照补偿的RGB-D（RGB Depth）点云配准方法。方法 引入同态滤波算法,并将模型对象的3维点云转化成线性点序列,从而对颜色信息进行光照补偿,以提高颜色信息的一致性;获取模型的颜色和几何特征并加权组合成混合特征,以此定义源点云的特征点,并运用K近邻算法搜索其对应点;用奇异值分解（SVD）得到配准的刚性变换矩阵。结果 进行传统的迭代最近点法（ICP）算法、深度信息与色调相结合的算法以及本文算法在不同的光照强度组合的模型配准对比实验,结果显示,在网面凹凸均匀的大卫模型上,配准时间及特征点匹配平均误差方面均约减少到对比方法的1/2;在网面光滑的barrel模型和网面凹凸不一致的阿基米德模型上,特征点匹配平均误差约分别减少到对比方法的1/6和1/8。此外,与Super 4-Points Congruent Set（Super 4PCS）、彩色点云配准算法在不同组合光照强度下进行对比实验,针对4种不同的网面结构模型,本文算法的SIFT特征点距离平均误差全距约减少到对比方法的1/5。结论 利用同态滤波算法抑制光照影响,提高了颜色信息的一致性,在一定效果上消除了光照强度不均匀对3维点云配准精度的干扰。     

一种应用于大角度变换点云的配准方法

针对传统配准法不能很好解决大角度变换点云的配准这一问题,提出一种基于精 确对应特征点对及其 K 邻域点云的配准方法。首先分别计算两组点云的 FPFH 值,根据特征值 建立点云间的对应关系;然后通过 RANSAC 滤除其中错误的匹配点对,得到相对精确的特征点 对集合;之后通过 KD-tree 搜索的方式分别找出特征点对 R 半径邻域内的点,应用 ICP 算法得 到两部分点云的最优收敛;最后将计算得到的相对位置关系应用到原始点云上得到配准结果。 通过对斯坦福大学点云库中 Dragon、Happy Buddha 模型以及 Kinect 采集的石膏像数据进行配 准和比较,实验表明该方法能够有效解决大角度变换点云的配准问题,是一种具有高精度和高 鲁棒性的三维点云配准方法。     

基于Kinect的点云配准方法

Kinect采集的点云存在点云数量大、点云位置有误差,直接使用迭代最近点(ICP)算法对点云进行配准时效率低.针对该问题,提出一种基于特征点法向量夹角的改进点云配准算法.首先使用体素栅格对Kinect采集的原始点云进行下采样,精简点云数量,并使用滤波器移除离群点.然后使用SIFT算法提取目标点云与待配准点云公共部分的特征点,通过计算特征点法向量之间的夹角调整点云位姿,完成点云的初始配准.最后使用ICP算法完成点云的精细配准.实验结果表明,该算法与传统ICP算法相比,在保证点云配准精度的同时,能够提高点云的配准效率,具有较高的适用性和鲁棒性.