基于双目立体相机的室外场景三维重建系统设计

摘要：三维重建是图像处理、计算机视觉、计算机图形学的一个重要研究领域,双目视觉通过模拟人眼处理景物的方式可以获取目标物体的三维信息,具有非接触、速度快、精度高、自动化程度好等诸多优点,可以大大提高工业生产效率,已经成为人们研究的热点。在传统的基于双目立体视觉的三维重建系统基础上进行了方法和算法的改进与创新,并根据具体应用场合拓展了系统功能。硬件选用Stereolabs公司的二代ZED双目立体相机套件,配合该套件提供的软件开发工具包（ZED SDK）,使用NVIDIA推出的通用并行计算架构CUDA,很大程度上优化了三维重建的运行效率;针对立体匹配过程噪声及原有视图引入误差等问题,利用插值法和数学形态学平滑方法进行处理,引入了视差图修复与细化环节;采用更为合理的特征点提取方法,优化了深度值计算环节。在实验室环境下,对整体系统进行了性能测试,结果表明,算法稳定高效,系统重建效果好,性价比高。     

光度立体三维重建算法

提出一种三维表面重建方法，以便快速准确地获得三维模型．首先获取控制光照和视角条件下的3幅图像，采用光度立体视觉的方法计算表面法向量，并在基于高度的全局优化和局部特征保持的基础上，通过金字塔式多尺度逼近，由表面法向量恢复三维表面信息．实验表明，这是一种简易快速的三维重建算法，在游戏三维建模、交互式动画等方面有着广泛的应用．     

未标定单幅结构场景图像的三维重构

提出了一种单视三维重构方法，该方法是利用用户提供图像点及其对应的三维点之间几何信息。由于结构场景是由大量平面构成的，存在大量的平行性、正交性约束，因此该方法主要应用于结构场景的三维重构。首先，相机定标和计算每个平面的度量信息，即先基于3组互相垂直方向的影灭点，对方形像素相机标定，再利用影灭线和圆环点像，对每个平面度量校正；然后考虑每个校正平面的尺度因子和非正交平面间的相对面向，从而将所有校正后的平面缝合起来。采用真实图像进行实验，实验结果表明，该方法简单易用。     

建筑物三维场景重建方法

针对建筑物模型的规则性问题,基于一幅或多幅非标定图像,对建筑物结构进行多视角三维场景重建,得到360°观测模型。区别于传统三维重建方法,该方法无需先标定摄像机参数与逐点配准、不依赖深度数据和高分辨率图像。实验结果表明该方法解决了单张图像方向性感知视野受限的问题,在系统复杂度和速度上优于传统方法。     

平行双目视觉系统的三维重建研究

随着图像处理,模式识别的快速发展,人们对双目视觉系统和三维创建越来越重视.本文研究和设计一套双目视觉系统目的是获得生动的立体图像.从二维图像恢复到三维图像实现了三维物体的可视化.     

基于双目立体视觉的三维舌重建

舌像蕴含着大量的人体生理病理信息,是中医四诊的重要内容之一。当前中医客观化舌诊研究基于二维舌图像,从中可得到颜色、形态等多种信息,但其不能反映点刺、裂痕等细节信息。为了得到全面的生理信息,本文提出一种基于双目立体视觉的三维舌表面重建方法,适用于具有动态特性的真实舌,达到了0.1342 mm的分辨率。此方法突破了现有以医学诊断为目的的舌表面重建方法动态特性与分辨率不兼得的瓶颈。全面的生理信息为疾病的正确诊断和早期发现提供了保障,同时可解决二维舌像由于深度信息缺失而造成的诸多技术难题,如舌体分割困难等。     

多视点图像中线特征的三维重建

将多视点图像中的离散线段(称为线特征)用于场景的三维重建过程.首先将平均重投影几何误差作为线特征三角形法和光束平差法的目标函数,保证了重建结果的最优性;其次提出一种对含噪声的空间直线Plucker坐标进行双线性约束矫正的解析方法,并给出理论证明;最后推导出针对具有4自由度空间直线的最少参数化迭代方法,消除了优化过程中的过参数化问题,以避免由于内约束存在而导致迭代难于收敛的情况,提高了重建结果的精度.仿真数据以及真实图像的实验结果验证了该方法的有效性和精确性.     

基于深度图像的三维场景重建系统

针对计算机图形学和视觉领域研究热点--三维场景重建,首先分析了 Kinect v2 (Kinect for Windows v2 sensor)获取深度图像的原理,说明深度图像噪声的来源。然后根据获取 深度图像的原理设计一种算法对点云采样范围进行裁剪。其次对点云离群点进行去除,填补点 云孔洞,以提高重建质量。常见的三维场景重建大都采用了 KinectFusion 的一个全局立方体方 案,但只能对小范围内的场景进行重建。对此设计了一种对大场景进行点云匹配的 ICP 算法。 最后对点云进行曲面重建,实现一套低成本、精确的针对大场景的三维重建系统。     

基于双目立体视觉的鞋楦三维建模

利用双目立体视觉的三维重建作为实现鞋楦数字化方法,避免了传统测量方法效率低、难以精确的困难.根据双目视觉原理,通过双CCD摄像机构成的双目立体视觉系统,论述了该系统的原理、结构,详细讨论了图像特征点提取、特征点立体匹配以及特征点三维重构等三维重构建模核心技术问题,并结合鞋楦特点,提出了相应的解决方法,提高了三维重构的准确性和质量,达到了实用的要求.     

IKONOS卫星图像的快速三维场景重建

IKONOS卫星立体像对一般经过图像匹配,采用RPC模型,通过繁杂的多项式迭代获取DEM,实现三维重建,其计算花费很大。在对城市三维重建时,认为城市局部的地面是平坦的,有近似相同的海拔,城市的三维信息集中就是建筑物的三维信息,针对IKONOS影像的特点,利用几何光学成像模型快速计算同名点的相对大地坐标,实现城市场景的快速三维重建。实验结果表明,场景重建结果有较好的精度,满足观测和处理的需求,实现了快速处理和分析环境数据。     

Stereo geometry from 3D ego-motion streams

This paper addresses the problem of geometry determination of a stereo rig that undergoes general rigid motions. Neither known reference objects nor stereo correspondence are required. With almost no exception, all existing online solutions attempt to recover stereo geometry by first establishing stereo correspondences. We first describe a mathematical framework that allows us to solve for stereo geometry, i.e., the rotation and translation between the two cameras, using only motion correspondence that is far easier to acquire than stereo correspondence. Second, we show how to recover the rotation and present two linear methods, as well as a nonlinear one to solve for the translation. Third, we perform a stability study for the developed methods in the presence of image noise, camera parameter noise, and ego-motion noise. We also address accuracy issues. Experiments with real image data are presented. The work allows the concept of online calibration to be broadened, as it is no longer true that only single cameras can exploit structure-from-motion strategies; even the extrinsic parameters of a stereo rig of cameras can do so without solving stereo correspondence. The developed framework is applicable for estimating the relative three-dimensional (3D) geometry associated with a wide variety of mounted devices used in vision and robotics, by exploiting their scaled ego-motion streams.     

基于激光与立体视觉同步数据的场景三维重建

本文介绍了一种利用移动机器人的激光信息和立体视觉信息实现室内外场景三维重建的方法。推导了激光与视觉采样点的配准关系。通过改变黑色三角形标定板的位置和姿态,选取足够的观测次数以获得足够的观测样本,使用高斯牛顿迭代方法进行估计,得到二维激光扫描仪与立体相机之间的变换矩阵。使用双目立体视觉里程计进行定位,采用八叉树算法存储和查找点,删除冗余点,得到场景的三维模型显示。实验证明本文所提出的方法有效地解决了室内外场景三维重建的基本问题。     

3D Surface Reconstruction of Noisy Point Clouds Using Growing Neural Gas: 3D Object/Scene Reconstruction

With the advent of low-cost 3D sensors and 3D printers, scene and object 3D surface reconstruction has become an important research topic in the last years. In this work, we propose an automatic (unsupervised) method for 3D surface reconstruction from raw unorganized point clouds acquired using low-cost 3D sensors. We have modified the growing neural gas network, which is a suitable model because of its flexibility, rapid adaptation and excellent quality of representation, to perform 3D surface reconstruction of different real-world objects and scenes. Some improvements have been made on the original algorithm considering colour and surface normal information of input data during the learning stage and creating complete triangular meshes instead of basic wire-frame representations. The proposed method is able to successfully create 3D faces online, whereas existing 3D reconstruction methods based on self-organizing maps required post-processing steps to close gaps and holes produced during the 3D reconstruction process. A set of quantitative and qualitative experiments were carried out to validate the proposed method. The method has been implemented and tested on real data, and has been found to be effective at reconstructing noisy point clouds obtained using low-cost 3D sensors.     

Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-Baseline Stereo Using a Hand-Held Video Camera

Three-dimensional (3-D) models of outdoor scenes are widely used for object recognition, navigation, mixed reality, and so on. Because such models are often made manually with high costs, automatic 3-D reconstruction has been widely investigated. In related work, a dense 3-D model is generated by using a stereo method. However, such approaches cannot use several hundreds images together for dense depth estimation because it is difficult to accurately calibrate a large number of cameras. In this paper, we propose a dense 3-D reconstruction method that first estimates extrinsic camera parameters of a hand-held video camera, and then reconstructs a dense 3-D model of a scene. In the first process, extrinsic camera parameters are estimated by tracking a small number of predefined markers of known 3-D positions and natural features automatically. Then, several hundreds dense depth maps obtained by multi-baseline stereo are combined together in a voxel space.So, we can acquire a dense 3-D model of the outdoor scene accurately by using several hundreds input images captured by a hand-held video camera.     

基于场景几何约束未标定两视图的三维模型重建

提出了一种从两幅未标定图象重建场景三维模型的方法 .这种方法充分利用了人造结构场景中大量存在的平行性和正交性几何约束 ,即利用每幅视图中三组互相垂直的平行线 ,计算出 3个影灭点 ,从而对每幅视图进行标定 .对两幅未标定图象 ,从基本矩阵只能得到射影重构 ,如果每幅图象都已标定 ,则可将基本矩阵转化为本质矩阵 .三维重构过程有两个步骤 :先是恢复相机的位置和运动 ;后是用三角测量法计算出点的三维坐标 .对多平面组成的场景进行三维重构实验 ,所得三维模型产生新的视点图象 ,与所观察的场景一致 ,重构的两个平面夹角与实际值相近 ,实验结果表明 ,该算法是行之有效的     

针对大规模点集三维重建问题的分布式捆绑调整方法

捆绑调整(Bundle adjustment, BA)是三维重建中的关键步骤,它需要消耗大量的计算时间和内存存储空间.本 文旨在处理三维点数比相机模型数多很多的捆绑调整问题,我们称之为针对大规模三维点集的捆 绑调整(Massive-points bundle adjustment, MPBA)问题.此类问题在对高分辨率图像进行三 维重建时会经常出现.为了高效地解决MPBA问题,本文提出一种分布式的捆绑调整算法.通过基 于三维点集划分的分解方法,原MPBA问题被分成若干子问题.该分解方法不依赖于输入参数的内在 联系,因而分解结果与具体BA问题无关.算法被映射于两个集群上,一个集群有5台计算机,另一个集 群有3台计算机,其中每台机器都配置一块图形处理器(Graphic processing unit, GPU).通过对若 干MPBA问题的实验,与经典捆绑调整算法SBA (Sparse bundle adjustment)相比,本文算法获得了 最高达75倍的加速比,并保持了算法的高精确度.而且,本文算法的两个实现所消耗的单机内存存储 空间,仅为SBA实现的1/7和1/4.     

基于多视图深度采样的自然场景三维重建

自然场景的多视图三维重建一直是计算机视觉领域的基本问题,有着广泛的应用.随着深度获取设备的日益普及,如何有效地利用多视点的深度图信息重建场景的三维模型已成为一个重要的研究课题.为了自动剔除输入深度图中的错误深度信息,恢复高质量的场景模型,提出一种多视图深度采样方法来实现自然场景的三维几何重建.首先对深度图进行非均匀采样以获得每帧的三维点集,并剔除部分深度误差较大的三维点;然后通过深度置信度估计的方法对多帧的三维点集进行融合并剔除多帧之间重复冗余的三维点,从而获得整体场景的三维点云;最后基于融合后的三维点云生成完整的场景几何模型.一系列复杂的自然场景实例证明了该方法的正确性和鲁棒性,其不仅能够重建小规模的物体,也同样适用于大规模场景的三维几何重建.     

应用神经网络隐式视觉模型进行立体视觉的三维重建

针对传统的基于精确数学模型的立体视觉方法过程繁琐的不足，提出一种应用BP神经网络隐式视觉模型进行三维重建的算法。该算法将多个标定平面放置在有效视场内，用神经网络模拟立体视觉由两个二维图像重建三维几何的过程，经过网络训练建模后，无须摄像机标定即可进行三维重建。仿真实验结果证明，该算法比较简单，且能保持较高的精度。     

View Planning for Multi-View Stereo 3D Reconstruction Using an Autonomous Multicopter

Multi-view stereo algorithms are an attractive technique for the digital reconstruction of outdoor sites. Concerning the data acquisition process a vertical take off and landing UAV carrying a digital camera is a suitable platform in terms of mobility and flexibility in viewpoint placement. We introduce an automated UAV based data acquisition and outdoor site reconstruction system. A special focus is set on the problem of model based view planning using a coarse digital surface model (DSM) with minimal data preprocessing. The developed view planning heuristic considers a coverage, a maximum view angle and an overlapping constraint imposed by multi-view stereo reconstruction techniques. The time complexity of the algorithm is linear with respect to the size of the area of interest. We demonstrate the efficiency of the entire system in two scenarios, a building and a hillside.     

近光源光度立体三维重建误差分析

一般假设的平行光光源,即远光源模型,受安装空间的约束在现实世界中很难实现。针对这一问题,提出了近光源模型解决近光源大尺寸物体的三维重建。近光源模型是一种新型的光源位置假设,需要标定光源位置,计算目标物体每个点上的光线方向,这样即使当物体尺寸较大或距离光源较近时,近光源模型也是对光源较优的一种假设。通过分析上述两种光源模型对噪声、光源到目标物体距离等因素的敏感度,比较发现当光源距离物体较近或物体尺寸较大的情况下,近光源模型的重建结果优于远光源的重建结果。