基于双重注意力机制的图像超分辨重建算法

近年来,卷积神经网络(CNN)在单幅图像超分辨率重建领域(SISR)展现出良好效果。深度网络 可以在低分辨率图像和高分辨率图像之间建立复杂的映射,使得重建图像质量相对传统的方法取得巨大提升。 由于现有 SISR 方法通过加深和加宽网络结构以增大卷积核的感受野,在具有不同重要性的空间域和通道域采 用均等处理的方法,因此会导致大量的计算资源浪费在不重要的特征上。为了解决此问题,算法通过双重注意 力模块捕捉通道域与空间域隐含的权重信息,以更加高效的分配计算资源,加快网络收敛,在网络中通过残差 连接融合全局特征,不仅使得主干网络可以集中学习图像丢失的高频信息流,同时可以通过有效的特征监督加 快网络收敛,为缓解 MAE 损失函数存在的缺陷,在算法中引入了一种特殊的 Huber loss 函数。在主流数据集 上的实验结果表明,该算法相对现有的 SISR 算法在图像重建精度上有了明显的提高。     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于多尺度融合的图像超分辨率重建北大核心CSCD

针对卷积神经网络在图像超分辨率重建任务上忽视提取多尺度特征的问题,提出了一种多尺度融合网络结构。该模型从不同空间尺寸的特征图中提取高频和低频特征,并引入注意力机制,能够自适应地调整不同通道和空间区域的权重。同时,利用不同尺寸的卷积核捕捉多尺度特征,以更好地恢复图像高频细节。在多个基准数据集上进行实验,结果表明,该模型在峰值信噪比、结构相似性和视觉效果上均优于其他几种先进的图像超分辨率重建模型。     

Mixed Attention Densely Residual Network for Single Image Super-Resolution

Recent applications of convolutional neural networks (CNNs) in single image super-resolution (SISR) have achieved unprecedented performance. However, existing CNN-based SISR network structure design consider mostly only channel or spatial information, and cannot make full use of both channel and spatial information to improve SISR performance further. The present work addresses this problem by proposing a mixed attention densely residual network architecture that can make full and simultaneous use of both channel and spatial information. Specifically, we propose a residual in dense network structure composed of dense connections between multiple dense residual groups to form a very deep network. This structure allows each dense residual group to apply a local residual skip connection and enables the cascading of multiple residual blocks to reuse previous features. A mixed attention module is inserted into each dense residual group, to enable the algorithm to fuse channel attention with laplacian spatial attention effectively, and thereby more adaptively focus on valuable feature learning. The qualitative and quantitative results of extensive experiments have demonstrate that the proposed method has a comparable performance with other state-of-the-art methods.     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

多尺度特征复用混合注意力网络的图像重建

目的 针对以往基于深度学习的图像超分辨率重建方法单纯加深网络、上采样信息损失和高频信息重建困难等问题,提出一种基于多尺度特征复用混合注意力网络模型用于图像的超分辨率重建。方法 网络主要由预处理模块、多尺度特征复用混合注意力模块、上采样模块、补偿重建模块和重建模块5部分组成。第1部分是预处理模块,该模块使用一个卷积层来提取浅层特征和扩张特征图的通道数。第2部分是多尺度特征复用混合注意力模块,该模块加入了多路网路、混合注意力机制和长短跳连接,以此来进一步扩大特征图的感受野、提高多尺度特征的复用和加强高频信息的重建。第3部分是上采样模块,该模块使用亚像素方法将特征图上采样到目标图像尺寸。第4部分是补偿重建模块,该模块由卷积层和混合注意力机制组成,用来对经过上采样的特征图进行特征补偿和稳定模型训练。第5部分是重建模块,该模块由一个卷积层组成,用来将特征图的通道数恢复至原来数量,以此得到重建后的高分辨率图像。结果 在同等规模模型的比较中,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似度（structural similarity index measure,SSIM）作为评价指标来评价算法性能,在Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100的基准测试集上进行测试。当缩放尺度因子为3时,各测试集上的PSNR/SSIM依次为34.40 dB/0.927 3,30.35 dB/0.842 7,29.11 dB/0.805 2和28.23 dB/0.854 0,相比其他模型有一定提升。结论 量化和视觉的实验结果表明,本文模型重建得到的高分辨率图像不仅在重建边缘和纹理信息有很好的改善,而且在PSNR和SSIM客观评价指标上也有一定的提高。     

轻量级注意力特征选择循环网络的超分重建

目的 深度卷积网络在图像超分辨率重建领域具有优异性能,越来越多的方法趋向于更深、更宽的网络设计。然而,复杂的网络结构对计算资源的要求也越来越高。随着智能边缘设备（如智能手机）的流行,高效能的超分重建算法有着巨大的实际应用场景。因此,本文提出一种极轻量的高效超分网络,通过循环特征选择单元和参数共享机制,不仅大幅降低了参数量和浮点运算次数（floating point operations,FLOPs）,而且具有优异的重建性能。方法 本文网络由浅层特征提取、深层特征提取和上采样重建3部分构成。浅层特征提取模块包含一个卷积层,产生的特征循环经过一个带有高效通道注意力模块的特征选择单元进行非线性映射提取出深层特征。该特征选择单元含有多个卷积层的特征增强模块,通过保留每个卷积层的部分特征并在模块末端融合增强层次信息。通过高效通道注意力模块重新调整各通道的特征。借助循环机制（循环6次）可以有效提升性能且大幅减少参数量。上采样重建通过参数共享的上采样模块同时将浅层与深层特征进放大、融合得到高分辨率图像。结果 与先进的轻量级网络进行对比,本文网络极大减少了参数量和FLOPs,在Set5、Set14、B100、Urban100和Manga109等基准测试数据集上进行定量评估,在图像质量指标峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）上也获得了更好的结果。结论 本文通过循环的特征选择单元有效挖掘出图像的高频信息,并通过参数共享机制极大减少了参数量,实现了轻量的高质量超分重建。