深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像.近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多.为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述.主要从...     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

改进的卷积神经网络单幅图像超分辨率重建

针对经典的基于卷积神经网络的单幅图像超分辨率重建方法网络较浅、提取的特征少、重建图像模糊等问题，提出了一种改进的卷积神经网络的单幅图像超分辨率重建方法，设计了由密集残差网络和反卷积网络组成的新型深度卷积神经网络结构。原始低分辨率图像输入网络，利用密集残差学习网络获取更丰富的有效特征并加快特征梯度流动，其次通过反卷积层将图像特征上采样到目标图像大小，再利用密集残差学习高维特征，最后融合不同卷积核提取的特征得到最终的重建图像。在Set5和Set14数据集上进行了实验，并和Bicubic、K-SVD、SelfEx、SRCNN等经典重建方法进行了对比，重建出的图像在整体清晰度和边缘锐度方面更好，另外峰值信噪比（PSNR）平均分别提高了2.69?dB、1.68?dB、0.74?dB和0.61?dB。实验结果表明，该方法能够获取更丰富的细节信息，得到更好的视觉效果，达到了图像超分辨率的增强任务。     

基于改进卷积神经网络的单幅图像超分辨率重建方法

对于重建图像存在的边缘失真和纹理细节信息模糊的问题，提出一种基于改进卷积神经网络（CNN）的图像超分辨率重建方法。首先在底层特征提取层以三种插值方法和五种锐化方法进行多种预处理操作，并将只进行一次插值操作的图像和先进行一次插值后进行一次锐化的图像合并排列成三维矩阵；然后在非线性映射层将预处理后构成的三维特征映射作为深层残差网络的多通道输入，以获取更深层次的纹理细节信息；最后在重建层为减少图像重建时间在网络结构中引入亚像素卷积来完成图像重建操作。在多个常用数据集上的实验结果表明，与经典方法相比，所提方法重建图像的纹理细节信息和高频信息能得到更好的恢复，峰值信噪比（PSNR）平均增加0.23 dB，结构相似性（SSIM）平均增加0.0066。在保证图像重建时间的前提下，所提方法更好地保持重建图像的纹理细节并减少图像边缘失真，提升重建图像的性能。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率重建算法

目前深度学习模式下的图像超分辨率重建存在对纹理感知不够精确、重建图像不够真实等问题,为了改善重建图像质量,提出一种基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率算法.首先,利用多感受野特征提取、可分离拉普拉斯滤波和复合残差密集块构建生成网络,使网络提取更全面的图像信息;其次,利用多维软标签对抗网络,可使生成对抗网络更容易训练且重建图像纹理更加丰富;最后,网络预训练采用L1损失函数和VGG低层特征,使重建图像获取整体特征,训练使用VGG高层特征、Charbonnier损失和生成损失,使重建结果更加精细,纹理更加充分.实验使用Div2k和Flickr2K进行模型训练,使用Set5等数据集进行测试.结果表明,该算法比USRNet等相关算法的网络规模减小40％,感知指数比USRNet平均降低0.76％,图像重建结果具有更多细节且真实性更强.     

基于多尺度融合CNN的图像超分辨率重建

针对FSRCNN模型中存在的特征提取不充分和反卷积带来的人工冗余信息的问题, 本文提出了一种基于多尺度融合卷积神经网络的图像超分辨率重建算法. 首先设计了一种多尺度融合的特征提取通道, 解决对图像不同尺寸信息利用不充分问题; 其次在图像重建部分, 采用子像素卷积进行上采样, 抑制反卷积层带来的人工冗余信息. 与FSRCNN模型相比, 在Set5和Set14数据集中, 2倍放大因子下的PSNR值和SSIM值平均提高了0.14 dB、0.001 0, 在3倍放大因子下平均提高0.48 dB、0.009 1. 实验结果表明, 本文算法可以更大程度的保留图像纹理细节, 提升图像整体重建效果.     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题，因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先，该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确，而且得到的模型相比之前的通道注意力模型更简单；同时，采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势，提高网络判别能力。在基准数据集上的实验结果表明，和现有的超分辨率算法相比，所提算法重建图像的纹理细节和高频信息能得到更好的恢复，且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力，一定程度上提升了性能。     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。     

图像超分辨率重建SRGAN算法的探讨

图像超分辨率增强的概念已经出现了很长时间,且已经在视频监控、医学影像等相关领域得到了广泛应用。从早期双三次插值的卷积神经网络到现在生成式对抗网络的图像超分辨率增强,不论是优化效果还是训练效率都得到很大提高。本文针对生成式对抗网络(SRGAN)算法,就下采样方式、GAN网络结构、损失函数和图像质量评价指标进行了分析讨论。     

基于深度学习的单幅图片超分辨率重构研究进展

图像超分辨率重构技术是一种以一幅或同一场景中的多幅低分辨率图像为输入, 结合图像的先验知识重构出一幅高分辨率图像的技术. 这一技术能够在不改变现有硬件设备的前提下, 有效提高图像分辨率. 深度学习近年来在图像领域发展迅猛, 它的引入为单幅图片超分辨率重构带来了新的发展前景. 本文主要对当前基于深度学习的单幅图片超分辨率重构方法的研究现状和发展趋势进行总结梳理: 首先根据不同的网络基础对十几种基于深度学习的单幅图片超分辨率重构的网络模型进行分类介绍, 分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异; 然后给出它们的实验结果, 并对实验结果及存在的问题进行总结与分析; 最后给出基于深度学习的单幅图片超分辨率重构方法的未来发展方向和存在的挑战.     

基于深度学习的单图像超分辨率重建研究综述

为深入了解基于深度学习的单图像超分辨率重建（SISR）的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。     

双回归网络的单图像超分辨率重建

现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,产生适应性问题。忽视残差分支的高频层次特征。针对上述问题,提出双重回归方案。除了学习从LR到HR图像的原始回归映射之外,额外学习一个对偶回归映射来估计下采样核并重建LR图像,形成一个闭环提供额外的监督,并在残差结构上引入了傅里叶变换,增强模型对高频信息的表达能力。相比其他先进模型以更少的参数重建HR图像,且拥有丰富的高频纹理细节。     

多路径特征融合的遥感图像超分辨率重建算法

针对遥感图像超分辨率重建算法特征利用率低、重建速度慢等问题,提出一种基于多路径特征融合的遥感图像超分辨率重建算法.该算法模型包括浅层特征提取模块、特征融合模块和图像重建模块3个部分.首先,利用浅层特征提取模块提取浅层特征信息;然后,通过级联的方式将每个多路径特征融合模块输出的特征信息进行融合,提高了特征利用率;最后,通...     

单幅图像超分辨率重建技术研究进展

图像分辨率是衡量一幅图像质量的重要标准. 在军事、医学和安防等领域, 高分辨率图像是专业人士分析问题并做出准确判断的前提. 根据成像采集设备、退化因素等条件对低分辨率图像进行超分辨率重建成为一个既具有研究价值又极具挑战性的难点问题. 首先简述了图像超分辨率重建的概念、重建思想和方法分类; 然后重点分析用于单幅图像超分辨率重建的空域方法, 梳理基于插值和基于学习两大类重建方法中的代表性算法及其特点; 之后结合用于超分辨率重建技术的数据集, 重点分析比较了传统超分辨率重建方法和基于深度学习的典型超分辨率重建方法的性能; 最后对图像超分辨率重建未来的发展趋势进行展望.     

图像超分辨率深度学习研究及应用进展

图像超分辨率重建是用低分辨率图像重建出对应的高分辨率图像的过程。目前,图像超分辨率技术已经成功应用于计算机视觉和图像处理领域。近年来,由于深度学习具有能够从大量数据中自动学习特征的能力,因此被广泛应用于图像超分辨率领域中。介绍了图像超分辨重建的背景,详细总结了用于图像超分辨率的深度学习模型,阐述了图像超分辨率技术在卫星遥感图像、医学影像、视频监控、工业检测任务方面的应用。总结了图像超分辨算法的当前研究现状以及未来发展方向。     

多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法.采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象.在Set5、Set14和BS...     

基于多窗口残差网络的单图像超分辨率重建

基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题.提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并过滤出深层网络的所需特征.残差模块中较大尺寸的窗口采用较小尺寸的滤波器和多层映射层叠加组成,可在减少...