深度图像超分辨率重建技术综述

便携式消费级深度相机的问世和发展,加速了深度信息在无人驾驶、人机交互、三维重建等领域的应用,但低成本消费级相机所拍摄的深度图像通常具有较低的空间分辨率。深度图像超分辨率重建是一种能有效提高深度信息空间分辨率的方法,已经成为计算机视觉和图像处理领域的研究热点。在详细阐述深度图像超分辨率重建概念和必要性的基础上,从输入图像角度,全面梳理归纳了近年来深度图像超分辨率重建方法的研究现状,对其中的关键性问题和今后的研究方向做了较为深入的分析,最后对深度图像超分辨率重建的应用前景进行了展望。     

基于块匹配和迭代反投影的车牌图像超分辨率重建

利用超分辨率重建技术提高车牌图像的质量,以获取更好的识别效果。首先采用基于小波变换的块匹配方法对车牌图像进行配准,然后利用迭代反投影算法对配准后的图像进行重建获得高分辨率的图像。对模拟生成的多帧图像和标准测试视频序列进行了实验,实验结果表明：该算法能有效提高车牌图像的质量。     

基于多分辨率学习卷积神经网络的磁共振图像超分辨率重建

高分辨率磁共振图像对于医学诊断具有重要意义,本文提出一种多分辨率学习卷积神经网络,并应用于磁共振图像超分辨率。网络是一种新型深度残差网络,包含用于特征提取的残差单元、多分辨率上采样的反卷积层以及多分辨率学习层。设计的网络在低分辨率图像空间中实现图像超分辨率,采用多分辨率上采样实现多个残差单元信息融合并加速网络,多分辨率学习能够自适应地确定各分辨率上采样的高维特征图对磁共振图像超分辨重建的贡献度。实验表明,论文提出的方法能够很好地超分辨率重建磁共振图像,优于最新的深度学习方法。     

基于深度学习的遥感图像超分辨率重建方法综述

基于深度学习的遥感图像超分辨率重建方法是计算机视觉中的重要方法之一。传统的遥感图像超分辨率重建方法已无法满足地物目标识别和土地检测等应用的需求,如何利用深度学习来重建遥感图像的分辨率是目前要解决的问题。结合国内外最新研究现状,将基于深度学习的遥感图像超分辨率重建方法分成3大类：单幅遥感图像超分辨率重建方法、多幅遥感图像超分辨率重建方法和多/高光谱遥感图像超分辨率重建方法。系统梳理了基于深度学习的单幅遥感图像超分辨率重建方法,包括基于多尺度特征提取的方法、结合小波变换的方法、沙漏状生成网络的方法、边缘增强网络的方法以及可跨传感器的方法。总结了基于深度学习的多幅遥感图像和多/高光谱遥感图像超分辨率重建方法中目前主流的方法。通过实验结果分析了遥感图像超分辨率重建方法目前效果最好的单幅图像超分辨率重建方法是基于GAN的方法,但是多幅遥感图像和多/高光谱遥感图像超分辨率重建效果仍然不佳,存在配准融合、多源信息融合等问题。最后,对基于深度学习的遥感图像超分辨率重建方法未来可能的发展趋势进行了展望,指出构建针对遥感图像特点的神经网络结构,无监督学习的遥感图像超分辨率重建方法,以及多源遥感图像的超分辨...     

改进SRGAN的图像超分辨率算法

SRGAN算法虽然具有许多优点,但也存在图像重建效果不够好、参数数量庞大、激活函数表现较差等问题。为此,本文提出一种基于SRGAN的图像超分辨率算法SRGAN-E。该算法首先删除BN层,提高图形的重建效果;再在原生成器模型中加入一维卷积注意力机制,使得图像在重建过程中更加关注上下文信息并减少网络模型中生成器的参数;将SRGAN算法鉴别器模型中的LeakyReLU函数改为Mish函数,以提升鉴别器的性能。实验结果表明:对比SRGAN算法,改进后的SRGAN-E算法在4个测试集上PSNR的平均值增加了0.345,SSIM的平均值增加了0.009;SRGAN-E算法的生成器参数数量与SRGAN算法相比,减少了1 388个。SRGAN-E算法不但提高了图像的重建效果而且还减少了模型参数。     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

改进残差块和对抗损失的GAN图像超分辨率重建

图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.     

基于超分辨率重建技术的遥感图像小目标检测

针对传统舰船遥感图像存在背景复杂和信息模糊等问题,提出一种基于超分辨率重建的舰船遥感图像小目标检测算法.该方法首先通过超分辨率重建技术对信息模糊的原始遥感图像进行清晰重建,防止重建图像过程中出现过大的固有特征损失和过于平滑的梯度变化.在此基础上建立Faster R-CNN网络,自动提取图像数据集目标特征,准确地实现舰船遥感图像中的小目标识别.实验结果表明,基于超分辨率重建的检测算法的综合效率达到65.5%,相比传统算法提高12.9%.由此证明,改进后的算法能够有效克服目标尺寸小和识别背景复杂所带来的检出率低和准确率差等问题.     

车牌识别系统中的超分辨率图像重建技术研究

针对车牌识别系统中图像模糊和分辨率低而影响车牌识别效果的问题,提出利用超分辨率重建来提高车牌图像分辨率的解决方法.建立了凸集投影(POCS)算法的数学模型,研究了凸集投影超分辨率重建的实现过程,并用仿真实验进行了验证.实验结果表明:采用凸集投影算法进行图像重建,可以提高车牌图像分辨率,丰富图像细节信息,能够有效提高车牌识别的准确率,并且迭代次数越多,图像重建效果越好.     

基于反馈网络的磁共振图像超分辨率重建研究

针对磁共振图像超分辨率重建算法存在的边缘信息丢失和运动伪影等问题,本文提出一种基于反馈网络的磁共振图像超分辨重建方法.采用反馈路径构成网络结构,在所提出的重建算法中,将输入图像进行上采样和下采样操作,提取图像特征,并对提取的特征进行融合后与输入图像一起进行局部循环训练,同时通过残差和卷积操作,重建超分辨率图像.为了更加...     

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

一种有效的超分辨率图像序列重建算法

针对降质图像序列的超分辨率重建研究,分析了超分辨率重建问题中图像序列的降质过程和重建过程的不适定问题,并提出了用最小二乘法和自适应正则化结合分布迭代的方法对图像序列进行重建.实验结果表明,该方法可以有效重建出高分辨率图像,在复原图像的峰值信噪比和主观视觉效果等方面比其他方法都有显著的提高.     

双路多尺度残差网络的图像超分辨率重建

针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题,提出了一种双路多尺度残差网络(BMRN)的重建方法.首先直接对低分辨率图像进行特征提取,较大程度保留特征信息;再构建多个独立的双路多尺度残差网络提取高频信息,其中残差连接的引入可以有效解决网络加深导致的梯度消失问题,双路多尺度结构可以相互补充卷积中的尺度信息,改善...     

一种基于双段深度残差卷积网的强噪声超分辨率重建算法

受强噪声污染的图像经过现有降噪算法降噪后,往往很难恢复出图像的细节,导致图像分辨率不高,严重影响图像后期的应用,所以研究受强噪声污染图像的高清细节恢复算法具有重要意义。提出了一种基于双段深度残差卷积网的强噪声超分辨率重建算法,该算法设计了一种双段深度残差卷积网,前后段深度残差卷积网的结构完全相同,前段深度残差卷积网用于降噪,后段深度残差卷积网用于超分辨率重建。结果表明,提出的算法可以很好地适用于强噪声的图像降噪,不仅能获得更高的峰值信噪比与结构相似度,而且能获得更好的图像细节恢复、改善图像的视觉效果,具有较好的实用性。     

基于刃边法的序列图像盲超分辨率重建算法

为了减少点扩展函数（PSF）估计误差对盲超分辨率重建结果的影响,本文提出了一种新的序列图像盲超分辨率重建算法。首先采用刃边法实现对成像系统点扩展函数的准确估计,然后将估计的点扩展函数引入迭代反投影超分辨率重建算法中,进行高分辨率图像的重建。实验结果表明,本文算法运算时间较短,不受限于低分辨率图像的模糊程度,重建结果不但具有较高的峰值信噪比（PSNR）和结构相似度（SSIM）,而且真实分辨率的提升幅度更大。     

辐射保真的红外遥感图像超分辨率重建

为了解决红外遥感图像超分辨率重建与辐射定标精度保真之间的矛盾,结合正则化超分辨率重建理论,建立了基于二阶总广义变分的超分辨率重建模型。 通过分析重建模型的特点,引入交替方向乘子法进行数值求解;重建过程利用双边滤波器原理,将图像的高低频信息分离;针对分离后高频信息图像进行重建处理,将低频信息图像与重建后的高频信息图像融合达到超分辨率的目的。 利用风云四号气象卫星得到的真实红外图像进行实验验证和定量化分析,表明该方法对辐射定标精度的影响要小于常规意义下的超分辨率重建的影响。     

基于重建方法的图像超分辨率技术发展现状分析与方向预测

图像超分辨率(super resolution,SR)重建技术是利用一帧或多帧低分辨率(low resolution,LR)图像的信息来重建一帧清晰的高分辨率(high resolution,HR)图像的技术,是图像处理中的研究热点。介绍了基于重建方法的图像SR技术的基本原理及数学模型,以频域方法和空域方法作为分类依据,分别阐述了图像SR重建技术的经典方法和最新进展,并对各类算法的优缺点进行了系统的分析和总结,最后指出了基于重建方法的图像SR技术的研究方向。     

改进可逆缩放网络的图像超分辨率重建

可逆缩放网络(IRN)的潜变量采用高斯分布嵌入图像高频信息,因其独立随机性无法充分保存图像高频信息,嵌入效果一般,影响重建性能。通过改进可逆缩放网络来提高嵌入高频信息的能力并进一步降低模型的复杂度。首先,特征提取模块采用密集连接结构和通道注意力机制来获取足够的特征信息,同时减少模块参数量;其次,网络的潜变量采用小波域高频子带插值设计,改善高频信息嵌入能力。实验结果显示该算法相比IRN,在Set5、Set14、BSD100和Urban100这4个基准测试集上的PSNR和SSIM分别平均提升了0.380 dB和0.014,参数量减少约1.64×10⁶,计算量减少约0.43×10⁹,运行时间减少3 ms。表明该算法的重建性能优良,模型复杂度低,具有实用价值。     

基于稀疏表示的遥感图像超分辨率重建

根据稀疏定理,首先对遥感图像数据进行训练,得到高分辨率图像块字典与低分辨率图像块字典,然后利用低分辨率图像块字典求出稀疏表示系数,最后根据稀疏表示系数得到超分辨率重建图像.结果可以看出,经过改进后,重建图像的客观评价指标更优.     

超分辨率图像重构分层迭代ICA算法研究

分析了超分辨率图像重构的数学模型,指出了超分辨率图像重构的关键问题,提出了用分层迭代ICA算法(HI-ICA)解决面向序列数据的超分辨率图像三维重构的新方法,并用Matlab软件进行了数值仿真实验.结果表明,这种方法对超分辨率图像重构精度的提高有一定的理论和应用价值.