多层次感知的多视图三维模型重建

针对基于体素表征的多视图三维模型重建过程中,存在二维视图所包含的空间信息离散,空间网格中体素分布稀疏的问题,提出基于多层次感知的多视图三维模型重建方法,旨在通过对视图级、体素级与物体级信息的多层次感知,重建具有完整结构与局部细节的三维模型。在视图特征提取阶段设计了上下文感知的通道注意力模块来最大限度获取二维视图中潜在空间信息;在三维模型生成阶段,通过体素感知的VoxFocal Loss来促进空间网格中体素生成;在三维模型细化阶段,通过具有物体感知能力的三维判别器来自适应地消除三维模型中冗余体素,生成更具真实感的三维模型。在大型合成数据集ShapeNet和真实世界数据集Pix3D上验证了该方法的有效性与先进性。     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将 IoU 损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在 ShapeNet和 Pix3D 数据集上的对比结果表明,ST-Rec3D 在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

基于二维透视图像的建筑物基本体素三维重建

根据建筑物由基本体素构成的特点,研究从一幅简单建筑物二维图像中重建三维图形的方法.利用透视原理,通过从建筑物二维影像中抽取三维几何信息,分析透视几何图形与体素之间的关系,重建基本体素的三维坐标,在三维空间中重新构建建筑物外形.并利用VLISP在AutoCAD中实现.     

基于光线的全局优化多视图三维重建方法

利用光线跟踪原理,提出一种全局优化的多视图三维重建方法。根据图像轮廓得到物体的包围盒,采用体素离散物体所在的几何空间。从相机中心向图像上每个像素发射一条光线,为确定光线达到的体素,使用归一化互相关（NCC）值度量光线一体素的一致性,并估计采样空间中面片的法向信息,以提高NCC值的可信度。设计基于因子图的全局优化模型得到物体体素,针对光线因子的特殊性,设计一种高效的置信度传播算法,使重建方法的时间复杂度从指数阶降为线性阶。实验结果表明,与基于马尔可夫场的重建方法相比,该方法的鲁棒性较好,可提高重建模型的准确度和完整性。     

基于自注意力网络的图像超分辨率重建

针对图像超分辨率重建中纹理细节等高频信息恢复的问题，提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架利用两个重建阶段逐步地将图像的精确度从粗到细进行恢复。在第一阶段中，首先将低分辨率（LR）图像作为输入通过一个卷积神经网络（CNN），并输出一个粗精度的高分辨率（HR）图像；然后将粗精度图像作为输入并产生更加精细的高分辨率图像。在第二阶段中，使用自注意力模块计算特征之间所有位置的关联性，通过捕捉特征的全局依赖关系来提高纹理细节的恢复能力。在基准数据集上的实验结果表明，与现有基于深度神经网路的超分辨率重建算法相比，所提算法不仅图像视觉效果最好，而且在数据集Set5和BDSD100上的峰值信噪比（PSNR）平均提高了0.1 dB、0.15 dB，表明该网络可以通过增强特征的全局表达能力来重建出高质量图像。     

基于深度学习的单视图三维重建

单视图三维重建在计算机视觉领域中是一个具有挑战性的问题. 为了提升现有三维重建算法重建后三维模型的精度, 本文除了提取图像全局特征之外还提取图像局部特征, 结合全局特征和局部特征并选取SDF (signed distance function)作为重建后的三维物体表达方式, 不仅提高了模型的精度, 生成了更高质量的3D形状, 还增强了模型的泛化能力, 使得深度模型可以以较高质量重建出其他物体种类. 实验结果表明, 本文提出的深度网络结构和3D形状表示方法与当今最先进的重建算法相比, 无论在重建后三维模型的效果还是新型物体的泛化中都有更好的表现.     

信号博弈的三维重建形变识别算法

现有双目立体视觉算法常常需要双目相机位置固定,在现实应用中,这类算法难以重构空间三维几何关系.为此,本文提出了一种不受位置限制的多视角图像三维重建与形变检测算法.该算法首先采用sift算法获取成对图像的特征点,以获取形变前后比对点对图像的特征信息;其次,利用信号博弈方法确定图像拍摄时相机的空间位置与视角,以准确获取图像的空间位置坐标;再次,依据上述信息完成物体的三维点云重建;进而,利用三维数据信息比对实现物体形变识别.最后,本文利用真实物体的实验,验证了三维重建形变识别算法的有效性.     

基于多引导结构感知网络的深度补全

针对三维场景深度信息观测稀疏问题,提出一种融合彩色图像的多引导结构感知网络模型以补全稀疏深度.首先,利用三维平面法向量与场景梯度信息之间的映射关系,设计一种两分支主干网络框架,结合图像特征和几何特征进行深度预测,以充分提取空间位置信息的特征表示;然后,考虑到大范围场景下不同物体的结构差异性,基于网络通道注意力机制设计一种自适应感受野的结构感知模块,以对不同尺度的信息进行表征;最后,在网络采样的过程中,以不同尺寸图像为指导对预测子深度图进行滤波并修复物体的边缘细节.公开数据集上的实验结果表明,所设计的深度补全算法可以获得准确的稠密深度,同时通过两个下游感知任务进行深入评估,表明利用所提出方法能够有效提升其他感知任务的效果.     

肺泡显微切片的三维重建

本文讨论了对肺泡类软组织切片图象进行三维重建的方法，重点分析了显微切片图象各类噪声的去除方法及灰度校正、几何位置校正、形态校正的方法．其中几何位置技正一直是序列显微切片重建的难点．本文提出的金字塔异或指数自动配难方法大大缩短了几何位置技正时间．从利用体无绘制技术重建的肺泡组织的三维形态来看，该配难方法具有较高的精度．实验证明该重建方法也适用于其他空腔组织、软组织的重建．     

基于双视角的可见外壳三维重建研究

针对双目视觉重建方法在三维重建过程中步骤繁琐与重建效果不理想的问题,文中提出了一种基于双视角下可见外壳的三维重建方法。该方法主要借助平面镜成像原理,在不同视角拍摄包含物体与其成像的两幅图像,并根据成像原理确定物体之间的位置关系。通过相机与周围物体的运动关系求得相机参数,实现相机自标定。然后根据阈值分割及区域生长算法处理边缘信息得到目标轮廓,通过可见外壳方法计算侧影轮廓线,连接轮廓线形成重建模型。该方法通过自适应可见外壳种子体素生长在不了解物体先验知识的情况下完成重建。文中对比文献"基于图像轮廓的三维重建方法"中的单视角重建物体方法,提出了双视角重建物体模型方法。实验结果表明,双视角重建方法简单实用,生成的三维模型准确真实。