基于多尺度密集连接网络的图像超分辨算法

图像超分辨率旨在通过软件技术从低分辨率图像中获得高分辨率图像.受深层神经网络对非线性关系强大表示启发,提出一种基于多尺度密集连接网络的图像超分辨算法.利用多尺度和密集连接思想设计了两个并行子网络提取图像特征,一个子网络中引人多尺度卷积层以提取低分辨图像的多种特征,另一个子网络则利用密集连接模块加深网络结构尽可能提取丰富的纹理特征,同时还可以避免模型训练过程中梯度消失的问题.最后对两个子网络提取的特征求残差并对其行重构得到高分辨率图像.仿真结果表明,提出的算法无论在客观评价还是视觉效果上均优于其它同类超分辨算法.     

基于混合注意力机制的图像超分辨重建算法

现有的大多数基于深度学习的单幅图像超分辨率算法,是通过深化和拓宽网络结构来提取特征,而对于信息占比不同的空间域和通道域没有作区分,导致大量计算资源的浪费。针对上述问题,提出了一种通道-空间混合注意力模块,通过捕捉通道域和空间域内重要性的差异从而更高效地分配计算资源,以加快网络收敛,提高网络性能。采用跳跃连接的方式融合全局特征,加强网络内信息的传递,使得分层信息被充分利用。同时在网络中引入密集连接网络,以做到特征的复用,加强信息的传输。实验结果表明,上述算法在客观指标评价和主观视觉效果方面均优于比较算法。     

基于三维时空注意的密集连接视频超分算法

针对视频超分对时间帧间信息以及分层信息的利用不充分,设计了一种具有空间时序注意力机制的密集可变形视频超分辨率重建网络。利用三维卷积来提取经可变形卷积模块对齐后的相邻帧之间的时间序列信息,同时设计具有步幅卷积层的轻量级模块来提取空间注意力信息。在特征重构阶段引入密集连接,充分利用分层特征信息以实现更好的特征重建。选取公共数据集进行实验验证,结果表明,提出的算法在客观评价指标与视觉对比效果上都有提升。。     

基于密集反馈网络的单幅图像超分辨率重建

基于深度学习的单幅图像超分辨率网络模型体积庞大,导致参数利用率低且难以部署,对中间层特征利用不充分。提出一种密集反馈注意力网络（DFAN）模型。在同一特征图中通过多尺度残差注意力模块（MRAB）提取不同尺度的深层特征,以增加特征的多样性。同时将每个MRAB的输出均作为同组中其他残差模块的输入,使各层之间的信息流最大化,从而减小训练难度。实验结果表明,相比VDSR、DRRN、MemNet等模型,DFAN模型具有较优的重建效果,其在重建放大倍数为4的Set5数据集上计算复杂度仅为VDSR模型的0.14倍左右,而峰值信噪比提高了0.57 dB。     

基于双重注意力机制的图像超分辨重建算法

近年来,卷积神经网络(CNN)在单幅图像超分辨率重建领域(SISR)展现出良好效果。深度网络 可以在低分辨率图像和高分辨率图像之间建立复杂的映射,使得重建图像质量相对传统的方法取得巨大提升。 由于现有 SISR 方法通过加深和加宽网络结构以增大卷积核的感受野,在具有不同重要性的空间域和通道域采 用均等处理的方法,因此会导致大量的计算资源浪费在不重要的特征上。为了解决此问题,算法通过双重注意 力模块捕捉通道域与空间域隐含的权重信息,以更加高效的分配计算资源,加快网络收敛,在网络中通过残差 连接融合全局特征,不仅使得主干网络可以集中学习图像丢失的高频信息流,同时可以通过有效的特征监督加 快网络收敛,为缓解 MAE 损失函数存在的缺陷,在算法中引入了一种特殊的 Huber loss 函数。在主流数据集 上的实验结果表明,该算法相对现有的 SISR 算法在图像重建精度上有了明显的提高。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

基于密集残差注意力网络的图像超分辨率算法

近年来,随着科学技术的高速发展,深度学习的蓬勃兴起,实现图像超分辨率重建成为计算机视觉领域一大热门研究课题.然而网络深度增加容易引起训练困难,并且网络无法获取准确的高频信息,导致图像重建效果差.本文提出基于密集残差注意力网络的图像超分辨率算法来解决这些问题.该算法主要采用密集残差网络,在加快模型收敛速度的同时,减轻了梯度消失问题.注意力机制的加入,使网络高频有效信息较大的权重,减少模型计算成本.实验证明,基于密集残差注意力网络的图像超分辨率算法在模型收敛速度上极大地提升,图像细节恢复效果令人满意.     

融合迭代反馈与注意力机制的图像超分辨重建方法

针对图像超分辨重建过程中原始高清图片与低质量图像之间缺乏依赖关系、深度网络中特征图信息不分主次重构导致的图像高频信息高精度重构困难的问题,提出一种融合迭代反馈与注意力机制的单幅图像超分辨重建方法。首先使用频率分解模块分别提取图像中的高、低频信息,并将二者分别处理,使网络重点关注提取出的高频细节部分,增强方法在图像细节上的复原能力;其次通过通道注意力机制将重建的重点放在有效特征所在的特征通道上,增强网络提取特征图信息的能力;然后采用迭代反馈的思想,在反复重建和比对过程中增加图像的还原程度;最后通过重建模块生成输出图像。在Set5、Set14、BSD100、Urban100和Manga109基准数据集上的2倍、4倍和8倍放大实验中,与主流超分辨率方法相比,所提方法表现出更优越的性能。在Manga109数据集的8倍放大实验中,相较于传统插值方法和基于卷积神经网络的图像超分辨率算法（SRCNN）,所提方法的峰值信噪比（PSNR）均值分别提升了约3.01 dB和2.32 dB。实验结果表明：所提方法能够降低重建过程中出现的误差,并有效重建出更精细的高分辨率图像。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展.基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析.根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法...     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

混合阶通道注意力网络的单图像超分辨率重建

目前用于图像超分辨率重建的通道注意力机制存在注意力预测破坏每个通道和其权重的直接对应关系以及仅仅只考虑一阶或二阶通道注意力而没有综合考虑优势互补的问题,因此提出一种混合阶通道注意力网络的单图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略将之前一、二阶通道注意力模型采用的升降维改为核为k的一维卷积。这样不仅使得通道注意力预测更直接准确,而且得到的模型相比之前的通道注意力模型更简单;同时,采用改进一、二阶通道注意力模型以综合利用不同阶通道注意力的优势,提高网络判别能力。在基准数据集上的实验结果表明,和现有的超分辨率算法相比,所提算法重建图像的纹理细节和高频信息能得到更好的恢复,且在Set5和BSD100数据集上感知指数（PI）分别平均提高0.3和0.1。这表明此网络能更准确地预测通道注意力并综合利用了不同阶通道注意力,一定程度上提升了性能。     

基于轻量自动残差缩放网络的图像超分辨率重建

近年来,由于深度卷积神经网络的出色性能,深度学习已成为图像超分辨率领域的研究热点,已经有许多具有很深结构的大型模型被提出。而在实际应用中,普通个人计算机或智能终端的硬件显然不适合大规模深度神经网络模型。提出了一种针对单幅图像超分辨率且具有自动残差缩放功能的轻量级网络(ARSN),与许多基于深度学习的方法相比,它的层和参数更少。此外,该网络中有特殊的残差块和跳跃连接用来进行残差缩放以及全局和局部残差学习。根据测试数据集结果,该网络在重建质量和运行速度上都达到了非常优异的性能。所提出的网络在性能、速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

轻量级图像超分辨率的蓝图可分离卷积Transformer网络

目的 图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,设计了一种轻量级图像超分辨率重建网络。方法 提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer网络（blueprint separable convolution Transformer network,BSTN）。基于蓝图可分离卷积（blueprint separable convolution,BSConv）设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块（shift channel attention block,SCAB）对通道重点信息进行加强,包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块（blueprint multi-head self-attention block,BMSAB）,通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果 本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上,本文方法在不同数据集上取得了不同程度的领先,并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时,在Set5数据集上相比SOTA（state-of-theart）方法,峰值信噪比（peak signal to noise ratio,PSNR）分别提升了0.11dB、0.16dB和0.17dB。主观上,本文方法重建图像清晰,模糊区域小,具有丰富的细节。结论 本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于稠密残差网络的图像超分辨率重建算法

图像超分辨率重建作为一种廉价方便的图像增强手段,在视频监控、医学成像、卫星遥感等领域有着重要的研究意义.为此结合深度学习在图像重建的性能优势,提出了一种基于增强稠密残差网络(ERDN)的图像超分辨率重建模型.首先使用多卷积核的稠密残差神经网络模块,提取图像的细节信息;然后通过跳跃连接和特征复用模块对多层图像信息进行筛选...     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题，是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中，尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能，但是忽略了可以使用边缘数据来训练更强大的模型，因此提出了一种基于边缘数据增强的方法，即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导，而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成，通过往模型里输入低分辨率图像并预测边缘数据，使主分支自注意力重建超分辨率图像。实验结果表明，在BSD100基准数据集上与二阶注意力网络（SAN）模型相比，NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009；在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比，NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。     

基于深度渐进式反投影注意力网络的图像超分辨率重建

针对多数单帧图像超分辨率（SISR）方法在重建预测图像时存在高频信息丢失和上采样过程中会引入噪声以及特征图各通道之间的相互依赖关系难以确定等问题,提出了深度渐进式反投影注意力网络。首先使用渐进式上采样方法将低分辨率（LR）图像逐步缩放至给定的倍率,缓解上采样过程中造成的高频信息丢失等问题;然后在渐进式上采样的每个阶段融合迭代反投影思想,学习高分辨率（HR）和LR特征图之间的映射关系并减少上采样过程中引入的噪声;最后使用注意力机制为渐进式反投影网络不同阶段产生的特征图动态分配注意力资源,使网络模型学习到各特征图之间的相互依赖关系。实验结果表明,所提出的方法相比主流的超分辨率方法,峰值信噪比（PSNR）最高可增加3.16 dB,结构相似性最高可提升0.218 4。     

基于非局部通道注意力机制的单图像超分辨率方法

单图像超分辨率是一个不适定的问题,是指在给定模糊和低分辨率图像的情况下重建纹理图案。卷积神经网络（CNN）最近被引入超分辨率领域中,尽管当前研究通过设计CNN的结构和连接方式获得了出色的性能,但是忽略了可以使用边缘数据来训练更强大的模型,因此提出了一种基于边缘数据增强的方法,即单图像超分辨率的非局部通道注意力（NCA）方法。该方法可以充分利用训练数据并通过非局部通道注意力提高性能。所提方法不仅为设计网络提供了引导,而且也可以对超分辨率任务进行解释。非局部通道注意力网络（NCAN）模型由主分支和边缘增强分支组成,通过往模型里输入低分辨率图像并预测边缘数据,使主分支自注意力重建超分辨率图像。实验结果表明,在BSD100基准数据集上与二阶注意力网络（SAN）模型相比,NCAN在3倍放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了0.21 dB和0.009;在Set5、Set14等其他基准数据集上与深度残差通道注意力网络（RCAN）模型相比,NCAN在3倍和4倍放大因子下的PSNR和SSIM都取得了较为明显的提升。NCAN在可比参数方面性能超过了最新模型。