一种基于多幅深度图像的混合建模方法

为了快速精确地对一个实体进行的三维重建,提出了一种新的混合建模方法.该方法利用同一实体在不同视点下的多幅深度图像,根据它们之间颜色和纹理的相关性,通过逆投影变换,可将图像中象素点映射到三维空间中的正确位置.然后再经模型重建和重投影,可获取实体在任意视点下的图像.实验结果表明,这种建模方法具有复杂度恒定、获取图像真实感强等优点,适用于形状、结构复杂的物体的重建.     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

真实感三维模型的纹理融合

提出一种消除物体表面纹理接缝,重建高精度真实感三维模型的纹理融合方法.首先将不同视场的深度图像匹配到同一坐标系下,经过深度图像融合获得物体完整的几何模型;然后确定深度图像和纹理图像的映射关系,并定义复合权重进行纹理融合来获取整个纹理映射图,并进行模型的纹理映射.该方法可消除物体表面重叠区域由于光照变化、几何模型的非完全漫反射以及拍摄视场的改变等外界因素引起的色彩差异,重构真实感三维模型;且对物体的几何形状、拍摄视场没有限制,能够自由拍摄,并实现高精度三维纹理模型.实验结果表明,文中方法是有效和鲁棒的.     

虚拟现实技术在三维图像表面重建中的应用

传统的三维图像表面重建技术主要通过3D扫描方法进行立体重建,当面对复杂场景时无法获取帧点坐标,导致重建图像的分辨率较低。基于此,提出融合虚拟现实技术的三维图像表面重建方法。首先,结合群体优化策略和信息素矩阵临界值,获取三维图像边缘信息;其次,运用虚拟现实技术,完成最小识别距离计算、重建点坐标计算和重建深度距离计算,确定复杂场景内每个帧点的重建坐标信息;最后,进行背景图像与前景图像的匹配分析,得到三维图像表面重建结果。实验结果表明,对于原始分辨率为1120 PPI×800 PPI的三维图像,应用该方法进行重建,所得图像的分辨率稳定保持在1280 PPI×1024 PPI,能够满足图像重建要求。     

乒乓球的三维运动轨迹重建

主要基于图像序列对乒乓球的运动轨迹进行三维重建,并对乒乓球运动形态进行分析.首先对采集的图像进行立体校正,利用颜色识别和改进的霍夫圆检测算法提取出序列图像中乒乓球的圆心坐标;然后根据前后帧图像的特征点坐标差值在时间序列上匹配特征点;最后,利用三角测量法对匹配的特征点进行三维重建,并计算出乒乓球不同时刻的速度和加速度,实现了动态物体的三维运动重建.实验结果表明该三维运动重建方法提高了特征提取的准确性,有效地实现了时间序列上的匹配,获得了物体的三维运动数据.     

基于三角剖分和纹理映射的物体表面重建算法

提出一种简便的物体表面重建算法,该算法用立体匹配获得的物体表面三维特征点和原匹配图像来重建物体的真实表面,主要步骤是:将物体表面三维特征点集映射到某个平面上,在此平面上完成三角剖分,将剖分的结果映射回物体表面,用空间三角片来表示物体的几何模型,最后在OpenGL环境下将物体原匹配图像贴到几何模型上,这样就真实地重建了物体表面.最后给出了重建物体真实表面的所需条件.     

基于Kinect v2三维重建的研究与实现

随着计算机视觉技术的蓬勃发展,三维模型重建成为研究热点。选用第二代Kinect作为三维模型重建的数据采集外设,获取具有深度信息的点云数据;然后用KinectFusion SDK对物体进行重建,并利用Matlab和Visual C++对点云数据进行降低噪声处理,并对三维点云数据进行Delaunay三角剖分,建立物体表面的拓扑关系,实现了三维物体的重建。     

基于曲率局部二值模式的深度图像手势特征提取

针对复杂环境下的深度图像手势特征提取信息冗余量大、编码不稳定等问题,提出了一种改进的基于曲率局部二值模式（LBP）的深度图像手势特征提取算法。该算法首先通过坐标转换将分割出的手势深度数据转换为点云数据;其次利用移动最小二乘法对手势点云数据进行曲面拟合;然后计算出能够更加准确描述物体三维表面几何信息特征的高斯曲率;最后利用改进的LBP均匀模式对高斯曲率数据进行编码形成特征向量。在美国手语（ASL）手势数据库上该算法的平均识别率达到了92.1%,与3D局部二值模式（3DLBP）和梯度LBP相比分别提高了18.5个百分点和13.7个百分点。实验结果表明,该算法可以区分外部轮廓相似但内部结构不同的手势,有效提高了在描述手势深度图像内部细节方面的准确性。     

基于空域均值法的双频三维轮廓测量

针对传统双频三维轮廓测量方法存在分辨率低、数据处理时间长等问题,提出基于空域均值的双频三维轮廓测量方法。该方法通过空域均值图像对采集到的包含物体深度信息的双频结构光图像进行处理,得到物体表面的真实深度信息,提高测量效率和测量精度。通过对物体模型的测量,证明由该方法构成的系统输入、输出满足线性关系,并且可以实现高效、高分辨率的三维物体轮廓测量。     

基于照片的混合建模系统几何模型求解原理研究

为了快速精确地建立建筑实体的三维模型,提出了一种混合建模系统中的单目视觉求解算法,该方法从二维图片数据中提取三维实体的边缘轮廓,并咐加约束条件,以构造三维实体的空间参数约束方程,然后通过求解得到实体的空间坐标参数,再利用纹理提取及转换等技术,来实现从照片到计算机中三维真实感实体的创建。实验表明,该求解模型建模效率高、实用性强,能够用于大多数建筑实体的建模。     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

森林气候实时建模方法的研究

提出了一种半透明体建模方法：对采集的图像学习生成过程纹理，对纹理进行边界合成得到划分了颜色区域的图像，对颜色区域边界进行扫描，勾勒出图像的轮廓线网格，并根据当前颜色为每个网格边界赋颜色值，根据网格的颜色值生成三维模型。实验证明这种动态景物的建模方法能够满足虚拟场景实时绘制的要求，而且具有很好的鲁棒性和连续性。     

基于Quaternion-Gabor滤波器的彩色纹理分割算法研究

提出一种的简单快速的多通道Gabor滤波技术对彩色纹理进行分割。首先,通过DRBFT和IDRBFT对彩色纹理的进行多通道Gabor滤波,再运用PCA对滤波得到的特征向量进行降维,对降维后的特征向量进行k-mean聚类,最后再对聚类后的区域用mean shift进行平滑,通过对平滑后的区域进行边缘检测就可以得到不同纹理的边界。最后给出几种分割算法的实验结果比较,表明该算法对于分割彩色纹理还是非常有效的。     

基于流形学习的彩色遥感图像分维数估算

目的 纹理特征提取一直是遥感图像分析领域研究的热点和难点。现有的纹理特征提取方法主要集中于研究单波段灰色遥感图像,如何提取多波段彩色遥感图像的纹理特征,是多光谱遥感的研究前沿。方法 提出了一种基于流形学习的彩色遥感图像分维数估算方法。该方法利用局部线性嵌入方法,对由颜色属性所组成的5-D欧氏超曲面进行维数简约处理;再将维数简约处理后的颜色属性用于分维数估算。结果 利用Landsat-7遥感卫星数据和GeoEye-1遥感卫星数据进行实验,结果表明,同Peleg法和Sarkar法等其他分维数估算方法相比,本文方法具有较小的拟合误差。其中,其他4种对比方法所获拟合误差E平均值分别是本文方法所获得拟合误差E平均值的26.2倍、5倍、26.3倍、5倍。此外,本文方法不仅可提供具有较好分类特性的分维数,而且还能提供相对于其他4种对比方法更加稳健的分维数。结论 在针对中低分辨率的真彩遥感图像和假彩遥感图像以及高分辨率彩色合成遥感图像方面,本文方法能够利用不同地物所具有颜色属性信息,提取出各类型地物所对应的纹理信息,有效地改善了分维数对不同地物的区分能力。这对后续研究各区域中不同类型地物的分布情况及针对不同类型地物分布特点而制定区域规划及开发具有积极意义。     

基于颜色自适应字典的双相机光谱系统重建算法

通过将快照编码孔径光谱成像和普通RGB彩色成像结合,双相机光谱成像系统能够高效地获取场景的光谱信息,具有广阔的应用前景.如何高质量地从压缩采样中重建高光谱图像是该系统需要解决的重要问题.根据高光谱图像与彩色图像在空间结构和光谱响应上的相关性,本文了提出一种基于颜色自适应字典的重建算法,用以提高双相机光谱成像系统的重建质量.首先,利用RGB观测分别训练三通道非负字典.然后,以彩色相机的光谱响应曲线为指导,为每一个谱带选择光谱相关性最大的字典.最后,完成高光谱图像的稀疏重建.高光谱数据库和遥感数据库的仿真结果均表明,本文提出的算法能够大幅度提升双相机光谱成像系统的重建质量.     

面向手持式3维扫描设备的本征纹理重建

目的 针对目前手持式3维扫描设备生成的模型纹理分辨率不够,且部分区域存在高光、阴影及明暗变化等问题,提出一种基于多幅实拍照片的纹理重建方法。方法 首先使用基于特征匹配的方法将照片图像与几何模型进行配准;其次根据重建纹理大小,采用特殊编码方式的位置纹理建立照片像素到纹理像素直接且精确的对应关系;然后根据多幅使用闪光灯作为光源拍摄的照片,通过位置纹理建立联立方程,求解漫反射分量;最后采用改进的基于混合权重的融合方法对求解的漫反射分量进行纹理融合。结果 使用本文方法对3个实验模型进行本征纹理重建,与3维扫描设备生成纹理和直接用照片生成纹理相比,该方法操作简单、使用方便,可获得高度清晰的,不含高光和明暗效果的本征纹理图像。结论 实验结果表明,重建纹理质量在分辨率、色彩还原性及一致性方面明显优于原有纹理,且该方法具有很高的精确性和鲁棒性,可满足高质量的纹理重建需求。