基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

基于约束Delaunay三角形的多视3D重建

为解决多视立体重建的表面模型扭曲变形,建筑物平面凹凸不平进而造成纹理贴图出现错误和拉花的问题,提出一种加入直线约束的城市建筑三维重建方法。该方法使用无人机获得的一系列图片作为输入,首先通过直线检测器和超级像素提取图像直线段和边缘,经边缘多边形简化,再通过2D约束德劳内三角化得到单视图2D三角格网。然后根据密集点云回算2D三角格网顶点三维位置,得到单视图3D格网模型,最后多视图合并得到场景完整3D模型。实验结果表明,算法表现出较好的性能、稳定性和可扩展性,并且具有较高精确性和有效性。     

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征,以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表明,在DTU数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能扩展到航拍影像的实际工程之中。     

基于像素插值的改进PMVS稠密重建方法

针对纹理稀疏区域重建效果差的问题,本文提出一种基于像素插值的改进稠密重建算法.基于面片的多视图稠密重建方法（PMVS）能够自动忽略外部点和障碍点,相比较于其他三维稠密重建算法该算法更准确,简单,高效.但是在纹理稀疏的区域会出现孔洞残缺等问题,且现有的匹配候选点选取策略会使得局部细节失真边缘残缺.本文针对这些问题提出了一种基于像素插值的特征点选取方法,增加纹理稀疏区域的特征点,使特征点分布均匀,提出一种更合理的候选点选取策略,减少错误匹配.实验表明本文提出的方法不仅能保证纹理稀疏区域的重建效果,还能有效剔除误匹配点,提高重建精度.     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

基于自适应聚合与深度优化的三维重建算法

针对现有基于多视图的三维重建方法未充分考虑像素点在其余视图的可见性,从而导致重建完整度不足,且在弱纹理和遮挡区域重建困难等问题,提出了一种应用于高分辨率的三维重建网络。首先提出了一种引入可见性感知的自适应成本聚合方法用于成本量的聚合,通过网络获取视图中像素点的可见性,可以提高遮挡区域重建完整性;采用基于方差预测每像素视差范围,构建空间变化的深度假设面用于分阶段重建,在最后一阶段提出了基于卷积空间传播网络的深度图优化模块,以获得优化的深度图;最后采用改进深度图融合算法,结合所有视图的像素点与3D点的重投影误差进行一致性检查,得到密集点云。在DTU 数据集上与其他方法的定量定性比较结果表明,提出的方法可以重建出细节上表现更好的场景。     

基于“几何-拓扑”迭代优化的三维网格模型修复算法

针对三维网格模型孔洞保特征修复问题,提出一种基于"几何-拓扑"迭代优化的三维数据修复算法.给定残缺的三角网格模型,首先识别孔洞区域,利用动态规划方法对孔洞区域进行初始的三角剖分,赋予孔洞区域拓扑连接关系;然后识别孔洞边界一对特征点,基于特征点及其法向粗略拟合特征曲线,在特征曲线的指导下调整孔洞局部的拓扑结构,即孔洞区域拓扑连接关系优化;最后基于孔洞及其N环邻域构建保特征的局部总变分能量函数,迭代求解孔洞及其邻域的顶点几何位置,即局部顶点几何位置的优化,重复局部拓扑连接关系优化和顶点几何位置优化,直到拓扑结构优化处理中不再发生连接关系调整,即完成了三维网格模型的修复.在现有的完整三维网格模型上人为去除部分构造带孔洞的残缺模型,以此作为数据,与其他修复算法进行对比实验的结果表明,所提算法可以有效地恢复孔洞区域的显著特征,并且在修复时间和误差统计上占有明显优势.     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

多特征三维稠密重建方法

基于图像的立体重建技术直接通过多幅二维图像获取物体的三维数据模型,建模自动化程度高,且不需要任何先验信息和特殊硬件支持。但对于具有精致雕刻的中国古式建筑以及非平行拍摄的大型室外场景,现有的基于图像的三维重建技术重建模型往往存在细节信息丢失、数据散乱现象,使得重建结果不够精确。针对这一问题,综合考虑模型的光照信息、纹理阴影、凹凸感等多种特征,通过给出特征候选点匹配策略及对初始点云的可靠性排序,提出了一种多特征三维稠密重建算法MFPMVS（patch with multiple features based multi-view stereopsis）。实验表明,MFPMVS算法与经典的PMVS（patch based multi-view stereopsis）算法相比,重建得到的三维点云更加密集;凹凸感较强的模型重建细节更为细腻;仰拍得到的模型重建结果中漏洞明显减少,边缘细节信息更加完整。算法能够更稳定、鲁棒地重建出物体的三维模型,具有很高的实用价值。     

基于扩展总变差正则项的三维网格模型修复算法

针对特征保持的三维网格模型孔洞修复问题,提出一种基于扩展总变差正则项的修复算法.首先,根据邻接三角形中边界边的性质识别孔洞边界,利用动态规划方法重构孔洞区域的连接关系;然后,建立适用于三维网格模型修复的变分优化模型;最后,引入增广拉格朗日方法求解变分模型,迭代地优化三维网格模型的顶点位置.以带有孔洞的三维网格模型为数据,与2种基于体素的修复算法以及1种基于曲面的修复算法进行对比实验,实验结果表明,该算法能够有效地修复孔洞区域特征,在保持三维网格模型原始特征的同时全局地重建整个模型.