基于重复结构检测的三维建筑物精细模型重建

基于单幅图像的城市建筑物建模是计算机图形学和计算机视觉的一个研究热点.针对具有显著重复结构特征的单幅城市建筑物输入图像,提出了一种通过简单交互方便快速地生成建筑物三维模型中精细细节结构的方法.首先,根据用户的简单交互重建建筑物基本主体部分的三维几何模型;然后,根据输入图像,通过检测水平方向和垂直方向上的边界线自动检测建筑物各个墙面的重复结构,并对重复细节结构按照其包围盒的特征进行分类;其次,通过用户描绘细节结构的局部线画图,根据建筑物细节结构与基本主体部分的射影几何关系,恢复对应凹凸细节结构的几何模型;最后,根据检测得到的建筑物表面重复结构,分别自动生成相同类型的重复细节结构,得到三维建筑物精细模型.实验结果表明,该方法能够简单便捷地重建出具有较强真实感的三维建筑物模型.     

基于单幅图像成像一致性的组合式建筑交互建模

在组合式建筑建模中,针对单幅建筑物图像提供的信息量少、建筑物部件之间的相互遮挡等局限性,提出一种"部件建模-联合优化"的组合式建筑交互建模方法.首先根据输入的单幅建筑物图像,用户标注图像上建筑物单个部件的6个顶点,系统获取顶点坐标并利用其与三维几何体顶点之间的对应关系构建长方体初始部件模型,使得其投影与图像上的部件轮廓相匹配,以实现相机标定;然后对选定的初始部件模型进行交互式编辑以生成相邻的部件,并使得生成的相邻长方体部件投影与图像上的相应部件轮廓相匹配,基于相机内参的成像一致性完成建筑物相邻部件的重建;最后利用组合式建筑建模的投影误差和共面约束误差进行联合优化,生成精确的组合式建筑物模型,并利用建筑物纹理的对称性合成真实的三维组合式建筑.利用.NET平台下的Emgucv库和OpenGL库实现基于单幅图像的建筑物三维建模,实验结果表明,该方法能方便高效地重建单幅图像中的组合式建筑物,且具有较强真实感.     

基于单幅图像的真实感人体动画合成

由于单幅图像缺失三维信息以及完整的纹理信息,基于单幅图像的真实感三维人体动画合成极具挑战性。针对单幅图像三维信息缺失问题,提出了一种基于SMPL参数模型的三维人体几何重建方法。该方法以单幅图像为输入,先根据输入图像人体轮廓信息变形标准的SMPL参数模型分别生成与目标轮廓一致的正反面的三维几何模型,然后利用基于B样条插值的网格拼接融合算法拼接正反面三维几何,最后为了恢复正确的手部几何,利用基于B样条插值的网格拼接融合算法,将重建后的模型上错误的手部几何用标准SMPL参数模型上正确的手部几何替换。同时,针对单幅图像中纹理缺失的问题,提出了一个称为FBN（front to back network）的对抗生成网络,用于恢复被遮挡的人体背面纹理。实验结果表明,该方法生成的具有完整纹理的人体几何能够由3D运动数据驱动运动,生成具有高度真实感的三维人体动画。     

基于平面的建筑物表面模型重建算法的研究

针对建筑物模型的规则性，提出了一种基于平面的建筑物模型重建算法，可以从单幅透视图像恢复建筑物的表面模型．该算法主要分为相机定标、基平面的提取、平面位置和方向的计算等几个子过程．相机定标主要用于求解相机的焦距，是一个非常重要的部分．该算法以建筑物场景中的几何结构作为约束条件，从单幅图像中求解相机的焦距；然后计算基平面位置和法向；最后通过交互式操作指明场景中各平面之间的相互关系，递归求解各平面的位置和法向，达到根据图像重建建筑物场景表面模型的目的．     

基于单幅图像的三维对称自由形体重建

为了方便快捷地重建出输入图像中的物体,基于单幅图像,提出一种利用二维手绘线画图重建生成三维对称自由形体的方法.在以单幅图像为背景的画布上,用户首先根据图像中的物体位置为待重建模型指定一个对称面;然后为确定了对称面的物体绘制出其各个子部分的手绘线条,每个子部分通常由4条手绘曲线表示,即1对对称曲线和1对非对称的一般曲线,对称曲线的深度坐标信息可以利用物体对称面信息进行计算,一般曲线的深度坐标信息则可以由同一子部分的三维对称构造曲线计算得到;利用恢复了深度信息的三维构造曲线,自由形体的每个部分可以分别由1对对称构造曲线和1对非对称构造曲线利用旋转混合方法生成其参数曲面,并离散化为三角网格表示;根据输入图像中物体的纹理信息进一步合成自由形体每一部分的表面纹理,最终得到三维物体.实验结果表明,该方法得到的三维自由形体具有较强的真实感.     

基于单张图像的三维人脸重建

利用一种基于法线的模型变形方法,从单张图像重建高质量的三维人脸.利用球谐函数和一个初始参考模型计算得到模型上每个顶点的法线,利用法线使参考模型变形.实验结果表明:提出的算法可以从单幅图像重建具有细节的高质量三维人脸.     

一种三维建筑物模型自动纹理映射方法

针对三维模型纹理映射受观测视角及遮挡影响的问题,提出了一种基于高斯混合模型的纹理自动映射方法。首先在体素三维重建模型上,为每一个目标表面体素建立高斯混合模型来描述该体素的颜色在不同图像上观测值的分布;然后利用输入的序列图像及对应的相机参数,结合场景的可见性约束,用图像每一个像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型;最后用高斯混合模型的期望估计体素的实际颜色纹理。结果表明,该方法可以得到准确精细的三维建筑物纹理模型。     

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。     

UV空间中的人脸颜色纹理和几何细节协同补全

当图像中的人脸存在较大角度的偏转时,由于自身遮挡,单幅图像3D人脸重建方法较难获取整张人脸的纹理和几何细节.考虑人脸纹理特征分布和几何细节的特征分布的双向关联特性,提出一种统一框架下的协同补全模型TDGAN.首先,将颜色纹理和几何细节映射到同一UV空间;然后,通过统一的生成对抗网络协同补全纹理与几何,并对这2部分信息分别设计全局与局部判别器,以实现纹理和几何的全局与局部一致性;最后,为了充分利用颜色纹理和几何细节共有特征,增加了一个纹理-几何一致性约束网络,从而得到高完整度和高一致性的颜色纹理与几何细节UV图.在当前最大3D人脸数据集FaceScape的实验表明,TDGAN比独立的UV空间补全方法能得到更高质量的补全结果.     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

一种基于透视投影响的纹理校正方法

论述了一种基于透视投影响的纹理校正方法,该方法以立体视觉中的线性摄像机模型为基础,针对虚拟场景漫游的特点及需要,利用透视投影中点的对应关系,通过图像空间与纹理平面上的四点对应,求得纹理校正的投影矩阵,这对采用本方法的实现结果进行了讨论。     

基于单幅正面照片的三维人脸重建方法

三维人脸重建算法需要多张照片实现重建且重建效率低下。针对上述问题,提出一种利用单幅正面照片重建三维人脸的方法。采用薄板样条函数对数据库中的三维人脸确立点对点的对应关系,建立平均三维人脸模型,利用LMA算法优化形状系数以恢复其三维形状,人脸颜色纹理信息可通过垂直投影得到。实验结果表明,利用该方法重建得到的三维人脸逼真且时间效率高。     

全局和局部结构内容自适应正则化的单幅图像超分辨模型

目的 基于正则化的重建是单幅图像超分辨的重要方法之一.其中,如何构造合适的图像先验,增强超分辨重建过程中的边缘和纹理保持能力是该类方法的关键.提出一个全局和局部结构内容自适应正则化的单幅图像超分辨模型.方法 该模型综合了图像梯度的全局非高斯性和局部结构方向自适应回归特性.首先,利用广义高斯分布拟合图像梯度模的重尾特性,由最大后验概率框架构造了图像全局内容感知的lα(0＜α＜1)范数稀疏性度量;然后,利用图像局部内容的各向异性相关性,给出基于Geman-McClure(GM)权函数加权的局部结构方向自适应回归先验;最后利用半二次惩罚和变量分裂法,设计了该优化模型快速求解的超分辨算法.结果 实验结果表明:在客观评价上,本文方法在峰值信噪比与结构相似度两方面优于现有的一些超分辨方法,在主观视觉效果上,能够很好的恢复图像的纹理细节和边缘信息.结论 基于全局和局部结构内容自适应正则化的单幅图像超分辨方法在保持图像边缘和恢复图像纹理细节方面取得较好的重建性能.     

结合三维几何形状信息和二维纹理的3D目标匹配

为了实现场景中三维目标与模型之间的匹配,提出了一种结合三维几何形状信息和二维纹理的三维目标匹配方法。首先提取场景中深度图像的尺度不变特征变换(SIFT)特征,用SIFT算法与三维模型重建时所用到的一系列2.5维深度图像进行一一匹配,找到与场景中目标姿态最为相似的深度图像,提取此深度图像的三维几何形状特征与模型进行匹配,实现模型的初始化,即将模型重置到与场景目标相接近的姿态。最后用融合二维纹理信息的迭代就近点（ICP）算法实现场景中目标与模型之间的匹配,从而得到场景中三维目标的准确姿态。实验结果验证了方法的可行性与精确性。     

图像驱动的三维模型外观细节增强

随着计算机游戏与电影视觉特效的普及应用,仅通过纹理贴图已不能满足用户需求。然而,为三维模型制作视觉真实的表面外观,即在包含几何细节变化(如金属腐蚀、石料风化、木质裂纹等)同时辅之以与几何变化合理匹配的材质颜色却是一件困难且耗时的工作。文章提出了一种能够从单幅图像中提取物体的外观细节(材质与几何信息)并增强至三维模型表面的方法。该方法是一种新型的几何约束的非刚性2D-3D融合配准算法,可以通过将配准后的模型提供的几何信息作为先验知识实现更好的本征图像分解结果。利用图像中同步分解出的互相关的多尺度几何信息与材质纹理信息组成的非参数外观模型,文中提出了一种法向量约束的几何变形算法将外观纹理恢复到代理模型上。通过上述步骤,文章提出的方法能够帮助建模师制作具有多尺度外观细节的三维模型。     

2D-3D转换:由二维线画图生成三维复杂零部件

在计算机辅助概念设计和计算机图形学领域,利用二维线画图输入可以方便用户有效地创建新的复杂物体。根据输入的二维特征线画图,提出了一种有效的三维重建方法来生成包含带状面、内嵌圆柱面和空心多边形面等的三维复杂零部件物体。在假设输入的二维线画图是三维待重建物体的简单平行投影的前提下,首先引进用户手绘输入二维特征线画图的若干规则,有助于实现对二维线画图的解释以及对几何物体拓扑结构的有效识别。然后,利用立方角理论精确计算复杂零部件物体各顶点的三维坐标。最后,根据二维线画图的拓扑结构信息,高效重建出复杂零部件物体,并以三角网格的形式表示。实验结果表明,该方法能够精确、高效地生成诸如机械零部件等的三维复杂形状。     

基于手绘线条的三维模型雕刻

为了生成复杂模型表面的几何纹理,提出一种三维模型的高效雕刻方法.首先根据用户交互方式生成手绘线条,通过曲线细化操作确定手绘曲线经过的三维模型表面边点,并去除手绘曲线经过的模型三角面片,将去除部分经三角剖分成小三角面片之后再插入到原始模型中;然后计算三维模型上的顶点到手绘线条集的距离,确定三维模型上与手绘曲线集的距离小于等于特定纹理宽度的顶点,并根据用户选取的轮廓函数计算顶点平移距离以及平移方向;最后对三维模型上手绘线条附近的顶点进行平移,得到模型的雕刻效果.实验结果表明,该方法能够方便、高效地实现三维模型表面的线条雕刻效果.     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

基于三维模型几何信息的纹理图像压缩

为进一步压缩三维模型数据,提高网络传输的速度,同时不降低模型渲染的视觉表现效果.提出了一种基于三维模型几何信息的纹理图像压缩算法.首先对模型三维网格做重网格化,使网格具备半正则的规则拓扑结构;然后利用半正则网格表面的几何信息对模型的三维特征点进行提取,对三维特征点在纹理空间的映射点应用k-means聚类算法获取感兴趣区域;最后结合基于感兴趣区域的嵌入式零树小波压缩算法,实现对模型纹理图像数据的编码和解码操作.实验结果表明,该算法提取的纹理图像感兴趣的细节区域更精确、压缩比高,经过解码和重建后的纹理图像在对三维模型表面贴图映射后具有更好的视觉效果.     

基于隐函数的三维纹理网格重建

目前,面向实景图像的单图三维重建算法大多无法重建或者只能重建出已知拓扑结构类型的带纹理三维网格.文章结合目标检测网络,构建了基于隐函数的纹理推断网络"ColorNet",用于预测三维网格顶点的RGB值,并且为Pix3D数据集的三维模型添加UV纹理映射,并进行渲染、颜色采样.网络在经预处理后的数据集上训练并测试.实验表明,"ColorNet"可以预测出三维网格顶点的RGB值,并通过与三维重建网络"IM-RCNN"相结合,实现从单张实景图像中自动地重建接近真实纹理的三维模型.