深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

一种用于三维重建的多视图前景目标自动分割算法

基于序列图像的三维物体重建之前,从图像中分割前景目标可节约大量时间。但传统的分割算法需要通过用户输入来确定前、后景,而基于图像的三维重建需要大量的图像,造成极大的人工浪费。为此提出一种用于三维重建的多视图前景目标自动分割算法。对每个图像进行颜色一致性和几何一致性分析,确定前景和后景大致区域,得到初始输入,并以此构建能量方程。使用Graph Cut算法求解方程得到粗略分割结果;使用Matting细化分割边界,得到高质量的分割结果;使用分割后图片重建出物体三维模型。实验结果表明,该算法可自动分割出多视图图像的前景目标,且具有极高的准确率和良好的边缘。将该算法用于三维重建的前期图像处理,可大大提高三维重建的速度。     

跟踪系统中图像预处理技术

为精确获取空间目标三位姿态,达到实时稳定跟踪的目的,采用有效方法对所得图像进行处理是必要的。该文基于图像处理理论,介绍了预处理的几种方法,以实现边缘信息的增强,对边缘检测、特征提取、匹配及三维重建亦意义重大。     

基于侧影轮廓的图像三维重建方法

针对自标定单幅图像的三维重建问题,提出一种基于侧影轮廓的图像三维重建方法。使用成角度平面镜装置拍摄目标物体,对所得图像进行边缘跟踪,得到闭合的轮廓曲线,利用满足平面镜成像原理的2对侧影轮廓计算灭点,根据灭点间的约束关系计算相机参数,在此基础上重建得到物体的三维模型。实验结果表明,该方法能快速重建逼真的三维模型。     

基于相关性的医学图像插值算法

鉴于医学图像层间插值是图像三维重建的关键环节,它直接影响人体组织器官三维重建结果的准确性;为克服以往医学图像插值方法低效率,边缘模糊的缺陷,提出了一种新的医学图像插值算法;该方法利用人体断层扫描数据中体素相关性和组织相关性,对人体组织进行分类,采用以不同的方式对不同类别的点进行插值,并对这些点进行校验;实验结果表明,该算法在插值图像的精度以及时间上比现有的同类插值算法有了很大的改善,图像边缘更加清晰,能有效地应用于三维重建。     

玉米茎切片图像的处理与分析

由图像序列进行三维重建,前期工作应包括图像的获取,灰度处理,二值化、图像的增强,锐化处理,图像的边缘检测和轮廓提取等。本文提出了多阈值分割及图像合成方法,利用多轮廓跟踪技术实现了提取并保存多目标区域轮廓的算法。     

基于NCT的特征级图像融合

为得到更好的融合效果,将特征级融合与像素级融合相结合,利用Contourlet变换(CT)对源图像进行分解,对于近似图像,利用Canny算子进行边缘检测以得到边缘特征图像,再以边缘特征图像作为交叉视觉皮质模型的输入,根据各神经元的点火次数进行融合;对于细节图像,根据区域能量系数矩阵进行融合.通过多聚焦闹钟图像和CT、M...     

带有未知匹配的图像线特征三维重建方法的研究*

为了解决传统三维重建过程中线特征匹配速度慢、建模与匹配过程脱节的问题,提出了基于相关系数的图像线特征匹配的方法,运用此方法对同一物体的三幅图像进行了特征匹配和三维重建。建立了目标物体的三维模型,达到了对物体线特征匹配与三维重建同步进行的目的。通过对所得实验数据分析,可以证明此算法对于物体的三维重建是有效的。     

基于景物散焦图像的距离测量

计算机视觉中,景物三维重建的关键是从景物的图像中计算出景物目标到摄像机的距离,提出了一种基于散焦图像计算景物距离的新方法。该方法利用远心光学镜头拍摄景物图像,通过改变像检测到镜头的距离获得同一景物的两幅散焦程度不同的图像,将获得灰度图像转换成梯度图像。利用矩不变原理计算梯度图像中边缘区的大小与整个图像匹配大小的比Pe,根据两幅图像的Pe值计算出景物的深度。实验结果表明了该方法的有效性,并对该方法产生的误差进行了分析。     

相位矩不变量用于评价基于图像的三维重建结果

基于图像的三维重建的评价一般要在三维扫描仪获取的精确三维模型上进行,成本高、效率低,且不适用于大型的物体或者大规模的场景.针对该问题,提出一种基于图像相位信息不变性的评价方法.首先获取物体的三维重建模型在某视点下的二维投影图;然后对该投影图以及真实物体在相近视点下的图像进行边缘提取;再对2幅边缘图像计算文中提出的相位矩不变量,以构造特征向量;最后通过比较特征向量的距离来衡量重建结果的质量.实验结果表明了该方法对评价基于图像重建的三维面片模型的有效性和适用性.     

基于图像分解的图像修复技术

针对整体变分(TV)图像修复模型缺点,提出基于图像分解的修复模型。采用图像分解技术,提取图像的结构信息和纹理信息。将图像结构部分用基于TV的改进模型进行修复,避免TV模型在平滑区域产生阶梯效应。在迭代过程中,对图像的特征点与非特征点分别考虑,确保在修复过程中特征点不被模糊化,图像纹理部分采用改进的基于样本修复技术。Matlab仿真实验结果表明,改进算法的修复效果和峰值信噪比计算结果优于原始算法。     

基于图像匹配的CBERS-02B卫星HR相机图像拼接方法

中巴地球资源卫星(CBERS)02B星HR相机所获得的高分辨率遥感图像,是由3片TDICCD影像组成,由于TDICCD空间结构关系,导致3片TDICCD的原始影像间存在偏移现象。为此,在充分考虑TDICCD图像的空间几何特征和图像像元间相关性的基础上,利用基于灰度的匹配算法,并结合TDICCD成像原理的特点,提出了一种新的高分辨率遥感CBERS\|02B星HR相机的影像拼接方法,整景拼接精度达到亚像元级。     

基于RGB彩色空间的图像分割研究

图像分割是图像处理中的主要问题,图像分割效果的好坏直接影响图像分析的结果。彩色图像分割是指将彩色图像分割成各具特性的区域并提取出其中感兴趣的目标,为后续图像处理工作奠定基础。针对彩色图像梯度图进行分水岭分割会造成过分割的问题,比较阈值分割、最大类间方差分割和最大熵分割等图像分割方法,提出一种基于遗传算法改进最大熵的彩色图像分割方法。实验结果表明,该图像分割算法灵活性强,可以有效地分割彩色图像。     

基于区域分割技术的图像无损压缩算法研究

1.引言在某些场合,需要压缩后重建图像的所有像素与原始图像的对应像素完全相等,这种压缩技术就是图像的无损压缩。无损压缩技术具有广泛的应用:医学射线图像往往要求进行无损压缩,以免造成诊断错误;卫星遥感图像往往也要求进行无损压缩,以减轻通信信道载荷,同时又保持遥测精度。进行无损压缩可以采取以下的两个步骤:首先进行解相关,尽量消除图像的冗余,得到误差图像;然后对误差图像进行可变长二进制编码。     

基于图像配准的POCS超分辨率图像重构

图像重构是数字图像处理的一个重要的分支,根据图像序列进行重构的高分辨率图像在多种应用邻域得以应用。该文简要介绍了图像成像原理以及降阶模型,并提出在图像配准的基础上,对图像序列采用POCS方法高分辨率重构,将图像校准算法和POCS方法有机地结合在一起,同时给出了其中详细的算法和实现过程。实验仿真结果表明该算法当图像间平移量小于10个象素、旋转角小于5时收敛,且运算量小,收敛速度快,具有很好的图像超分辨率重构能力。     

基于图像格式转换的数字图像压缩研究

对数字图像压缩方法进行研究,利用Delphi设计一个数字图像压缩系统,该系统能够把BMP图像转换成JPEG图像,并且能够按照用户的要求对数字图像进行压缩.实验结果表明,该系统能够达到较高的压缩比.     

一种根据图像能量调整的图像融合方法

针对传统图像融合算法无法对能量差异较大的图像取得良好融合效果的问题,文中根据图像的能量划分,利用多尺度变换和稀疏表示相结合的方式分解两幅图像的高低频信号,在低频部分自动调整不同能量图像块的稀疏融合规则,并在高频部分加入一致性检验,从而进一步约束对应局部空间能量MSD系数的复合过程,最后通过小波逆变换重构得到融合图像。使用红外图像、医学图像和多聚焦图像分别进行融合性能的验证,并分析稀疏分解层数和窗口步长等条件对融合效果的影响,最终取得该框架下的最优分解方式,获得了具备优秀的主观效果和客观指标的融合图像。实验结果表明,该算法在对任意两种类型传感器获得的图像进行融合时均能获得更加优秀的融合效果,且不仅局限于某两种图像的融合,其在SF,SSIM和EFQI等客观指标上优于传统融合算法和一般多尺度结合稀疏表示的算法。     

基于图像矩函数的图像清晰度评价方法

自动调焦作为显微图像测量中的关键技术,其核心为图像清晰度评价函数。现有图像清晰度评价函数在对焦目标与背景的对比度较低时,评价曲线极易失去其理想特性,或灵敏度下降,造成聚焦精度的降低;或出现多个局部极值,造成调焦失败。针对这一问题,在分析离焦图像成像原理的基础上,提出一种新的基于图像矩的图像清晰度评价函数,并给出定义。新的评价函数由不同阶的图像矩加权构成,通过调节权重系数可以灵活控制评价函数的灵敏度和抗噪性。通过微小透明球体的显微图像序列对新的评价函数进行实验验证,并和四种常用评价函数进行分析比较。实验结果证明,在低对比度条件下,相对于其它四种常用评价函数,基于图像矩的图像清晰度评价函数在有效保持了如单峰性、无偏性等理想曲线特性的同时,在灵敏度及抗噪性方面也具有明显优势。     

基于图像转换的道路图像裂缝检测

深度学习是目前路面图像裂缝检测的主流方法,但是需要大量人工标注的真值图进行训练,而现实中获取人工标注的真值图既费时又费力,本文提出一种基于改进的生成对抗网络的路面图像裂缝检测方法,将路面图像裂缝检测问题视为一类基于图像跨域转换的异常检测问题,采用定点生成对抗网络将裂缝图像无监督自动转换为与之一一对应的无裂缝图像,进而将原图像与生成图像进行差分,差分图中的显著目标对应裂缝检测结果.在公开数据集CrackIT上的测试结果表明,本文方法在不依赖于人工标注的真值图条件下能够实现裂缝的精准检测,本文方法在准确率、召回率、F1分数上取得了与有监督深度学习方法相当的性能.