多视图图像三维重建技术研究

多视图三维组建技术是在图像中获取所需对象和具有实用价值的三维图像。这种方法目前普遍应用于计算机图形与视觉领域中。此技术的应用对于三维视觉感模型的建立和规模较大的三维图像建模起着至关重要的作用。近年来,该技术逐渐应用到了其他领域,如医学、机器人导航等。然而该技术在实际应用中还存在一些问题。在本研究主要针对多视图三维重建技术进行深入探讨,为三维重建提供解决方案,包括图像特征提取、几何约束计算、鲁棒性参数估计等。     

基于混合结构的多视图三维场景重建

基于PatchMatch的多视图高效和高精度三维重建一直是一个挑战性问题.红黑棋盘格模式的传播方式并行计算效率高,但对应的视图选择策略精度较差;基于马尔可夫链的视图选择策略能获取更为准确的匹配结果,但算法并行度较低.为了达成场景重建质量与重建时间的平衡,本文提出了一种基于混合结构的多视图三维重建算法,在第一阶段采用沿行/列并行的传播策略和马尔可夫链式的视图选择策略,得到质量较高的初始深度图,并通过引入多层次处理提升弱纹理区域的重建质量;在第二阶段采用棋盘格式传播方式和基于投票的视图选择策略提高计算效率,缩短重建所需时间.通过在Strecha和ETH3D数据集上进行了大量实验和对比表明,本文算法在不降低计算精度的前提下,计算效率提高 2.5 倍以上.     

基于二维视图特征的三维重建

在分析现有ＣＡＤ二维参数化设计,三维参数化设计以及三维重建方法的基础上,基于工程图图形的整体宏观性,图形拓扑性及三维视图的投影规律,提出了二维视图特征的概念及一种新的工程图处理方法。     

VR环境下基于特征并行匹配的多视图三维重建

传统重建方法因对多视图特征的处理能力有限,导致重建结果存在质量低的问题.针对上述问题,研究设计了基于特征并行匹配的多视图三维重建方法.首先利用摄像机设备获取VR环境中的多视图三维数据,并通过径向校正、降噪以及运动恢复三个步骤实现对初始图像数据的预处理.然后以并行化的形式检测多视图中的特征点,并实现对特征的提取与匹配.结...     

一种用于三维重建的多视图前景目标自动分割算法

基于序列图像的三维物体重建之前,从图像中分割前景目标可节约大量时间。但传统的分割算法需要通过用户输入来确定前、后景,而基于图像的三维重建需要大量的图像,造成极大的人工浪费。为此提出一种用于三维重建的多视图前景目标自动分割算法。对每个图像进行颜色一致性和几何一致性分析,确定前景和后景大致区域,得到初始输入,并以此构建能量方程。使用Graph Cut算法求解方程得到粗略分割结果;使用Matting细化分割边界,得到高质量的分割结果;使用分割后图片重建出物体三维模型。实验结果表明,该算法可自动分割出多视图图像的前景目标,且具有极高的准确率和良好的边缘。将该算法用于三维重建的前期图像处理,可大大提高三维重建的速度。     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

基于神经隐式场的模糊多视图三维重建

基于神经隐式表面的重建方法因其能高保真地重建场景而受到广泛关注.然而,这些研究主要集中在理想输入的重建上,对于模糊输入重建效果并不理想.为了解决以上问题,提出了 Deblur-NeuS,一种基于神经隐式场的模糊多视图三维重建方法.通过引入模糊核预测模块和隐式位移场来模拟模糊过程以重建模糊视图和表面,并为模糊表面增加模糊点云监督,优化隐式表面的学习.在测试阶段移除模糊核模块与隐式位移场,即可直接提取更清晰的几何表面.在模糊数据集上的实验结果显示,重建的表面质量以及图像渲染的质量都得到了显著提升.该方法增强了网络对模糊输入的鲁棒性,能从运动模糊图像中恢复几何表面细节.     

采用空间一致生长策略的多视图三维重建

针对复杂环境因素影响下场景三维重建结果难以同时获得高重建精度和高重建完整度的问题,提出一种基于空间一致生长的多视图三维重建算法.该算法对基于特征点生长的三维重建算法框架进行拓展,新增了有条件的初值矫正环节,同时对已有的生长和滤波环节进行更替和改进.首先使用SFM从输入图像中提取稀疏种子点;然后直接在固定的世界坐标系中从所有种子点出发向其邻近三维空间扩展,得到生长点的初始位置和方向,并通过优化确定生长点的最终位置和方向,在优化前和优化中根据生长点的当前位置和方向不断选取和更换最佳主、副图,提高优化质量;再利用邻域已重建点云有条件地矫正生长点的位置和方向,并以此作为初值再次优化,避免优化收敛到局部极值,提高生长点的重建精度;最后设计光滑、深度和方向三方面的自适应一致性滤波,在减少误删的同时及时删除误差点,防止误差蔓延.实验结果表明,文中算法的重建精度和完整度均明显超过当前流行的PMVS算法;与高精度DAISY算法相比,在完整度大大提高的前提下,该算法的精度与其基本持平.     

一种基于场景图分割的混合式多视图三维重建方法

针对大范围三维重建,重建效率较低和重建稳定性、精度差等问题,提出了一种基于场景图分割的大范围混合式多视图三维重建方法.该方法首先使用多层次加权核K均值算法进行场景图分割;然后,分别对每个子场景图进行混合式重建,生成对应的子模型,通过场景图分割、混合式重建和局部优化等方法提高重建效率、降低计算资源消耗,并综合采用强化的最佳影像选择标准、稳健的三角测量方法和迭代优化等策略,提高重建精度和稳健性;最后,对所有子模型进行合并,完成大范围三维重建.分别使用互联网收集数据和无人机航拍数据进行了验证,并与1DSFM、HSFM算法在计算精度和计算效率等方面进行了比较.实验结果表明,本文算法大大提高了计算效率、计算精度,能充分保证重建模型的完整性,并具备单机大范围场景三维重建能力.     

多特征三维稠密重建方法

基于图像的立体重建技术直接通过多幅二维图像获取物体的三维数据模型,建模自动化程度高,且不需要任何先验信息和特殊硬件支持。但对于具有精致雕刻的中国古式建筑以及非平行拍摄的大型室外场景,现有的基于图像的三维重建技术重建模型往往存在细节信息丢失、数据散乱现象,使得重建结果不够精确。针对这一问题,综合考虑模型的光照信息、纹理阴影、凹凸感等多种特征,通过给出特征候选点匹配策略及对初始点云的可靠性排序,提出了一种多特征三维稠密重建算法MFPMVS（patch with multiple features based multi-view stereopsis）。实验表明,MFPMVS算法与经典的PMVS（patch based multi-view stereopsis）算法相比,重建得到的三维点云更加密集;凹凸感较强的模型重建细节更为细腻;仰拍得到的模型重建结果中漏洞明显减少,边缘细节信息更加完整。算法能够更稳定、鲁棒地重建出物体的三维模型,具有很高的实用价值。     

结合Harris算子和sift匹配方法的三维重建

该文针对三维重建过程中立体匹配问题进行研究和讨论,通过对目前检测性能较好的Harris角点提取方法和最近几年得到人们广泛关注的Sift特征匹配方法进行详细分析,总结出两者各自优缺点具有互补性,因此提出融合两者的优点,综合两者的匹配结果,以使用于重构的匹配点既能达到高的精确性,又能勾勒出重构物体的重要外貌。     

平行双目视觉系统的三维重建研究

随着图像处理,模式识别的快速发展,人们对双目视觉系统和三维创建越来越重视.本文研究和设计一套双目视觉系统目的是获得生动的立体图像.从二维图像恢复到三维图像实现了三维物体的可视化.     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

多视图立体三维重建中的孔洞修复算法

为了解决多视图立体三维重建算法不能很好地处理弱纹理或无纹理及高光区域的重建问题,提出一种基于可见外壳与多视图三维点云有机融合的多视图立体三维重建孔洞修复算法.该算法以可见外壳及多视图三维点云为输入,首先提取出可见外壳内满足点云稀疏度约束的叶节点,然后利用可见外壳法向量射线约束去除包裹在三维点云外层的叶节点,最后通过加入三维点云曲面曲率约束来消除点云中凹陷区域的影响.实验结果表明,文中算法有效地解决了物体缺乏纹理区域表面的孔洞修复问题,使得最终生成的三维网格模型完整和平滑,具有参数可调、易于实现的特点,对于不同的模型都具有非常好的鲁棒性.     

基于光学三角几何关系的三维表面重建方法

工业图像处理作为图像处理技术的工业应用,是自动化技术的发展方向之一.传统的二维图像处理已经在视觉检测系统中广泛应用.目前利用光学方法的三维数字化具有越来越重要的意义.在工业生产中,多种获取三维数据的途径得到应用.其中最重要的方法有立体视觉,条形光相位平移法和条形光格雷编码法.本文重点介绍这三种方法在视觉检测系统中的运用.所开发的系统实现了被测工件可视化,而且更容易地将三维图像集成到生产线中.     

基于Matlab的颅面三维重构技术

介绍了一种以Matlab为工具实现颅面三维重构的方法。给出了利用该方法处理医学图像、构造体数据集和三维重构的全过程。提出了完成医学图像三维重构的技术路线、方法和步骤。为医学图像的三维可视化技术提供了一种新的可能。     

基于多感知因素的产品三维重构关键技术研究

从一幅简单的图形出发,利用图像中隐藏的透视信息进行三维重构,计算产品特征点的坐标及其相对位置.进行了透视元素、基本体素到组合体素的反求研究,并且给出了其相应的原理和算法.对于几何残缺信息的视觉补偿与推理等关键算法进行了研究,并利用非几何信息的处理与特征建模,搭建基于产品多感知因素的三维重构系统框架,实现了设计重用辅助产品创新设计.     

Continuous Global Optimization in Multiview 3D Reconstruction

In this article, we introduce a new global optimization method to the field of multiview 3D reconstruction. While global minimization has been proposed in a discrete formulation in form of the maxflow-mincut framework, we suggest the use of a continuous convex relaxation scheme. Specifically, we propose to cast the problem of 3D shape reconstruction as one of minimizing a spatially continuous convex functional. In qualitative and quantitative evaluation we demonstrate several advantages of the proposed continuous formulation over the discrete graph cut solution. Firstly, geometric properties such as weighted boundary length and surface area are represented in a numerically consistent manner: The continuous convex relaxation assures that the algorithm does not suffer from metrication errors in the sense that the reconstruction converges to the continuous solution as the spatial resolution is increased. Moreover, memory requirements are reduced, allowing for globally optimal reconstructions at higher resolutions. We study three different energy models for multiview reconstruction, which are based on a common variational template unifying regional volumetric terms and on-surface photoconsistency. The three models use data measurements at increasing levels of sophistication. While the first two approaches are based on a classical silhouette-based volume subdivision, the third one relies on stereo information to define regional costs. Furthermore, this scheme is exploited to compute a precise photoconsistency measure as opposed to the classical estimation. All three models are compared on standard data sets demonstrating their advantages and shortcomings. For the third one, which gives the most accurate results, a more exhaustive qualitative and quantitative evaluation is presented.     

应用神经网络隐式视觉模型进行立体视觉的三维重建

针对传统的基于精确数学模型的立体视觉方法过程繁琐的不足,提出一种应用BP神经网络隐式视觉模型进行三维重建的算法。该算法将多个标定平面放置在有效视场内,用神经网络模拟立体视觉由两个二维图像重建三维几何的过程,经过网络训练建模后,无须摄像机标定即可进行三维重建。仿真实验结果证明,该算法比较简单,且能保持较高的精度。