分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于空间注意力残差网络的图像超分辨率重建模型

卷积神经网络中的层次特征可以为图像重建提供重要信息。然而,现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题,本文提出一种基于空间注意力残差网络的模型（Residual Network Based on Spatial Attention, SARN）。具体来说,首先设计一种空间注意力残差模块（Spatial Attention Residual Block, SARB）,将增强型空间注意力模块（Enhanced Spatial Attention, ESA）融入残差模块中,网络可以获得更有效的高频信息;其次融入特征融合机制,将网络各层获得的特征进行融合,提高网络中层次特征的利用率;最后,将融合后特征输入重建网络,得到最终的重建图像。实验结果表明,该模型无论在客观指标上,还是主观视觉效果上均优于对比算法,这说明本文提出的模型可以有效地利用图像中的层次特征,从而获得较好的超分辨率重建效果。     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于多级残差注意力的X-ray图像超分辨率重建

针对肺部X-ray图像在超分辨率重建过程中出现的肺部边缘不清晰以及器官纹理模糊等问题,提出一种基于多级残差注意力的X-ray图像超分辨率重建方法。将注意力机制嵌入残差块中构建网络基本块,在加速网络收敛的同时,使网络更加关注图像的边缘纹理特征;设计多尺度特征融合模块进行特征提取,保证结构信息的完整性;通过多级残差学习加速网络训练,并允许构建更深层次的网络;融合上采样图像与Bicubic图像完成最终重建,弥补特征提取过程中的特征损失。实验结果表明,所提出模型的PSNR、SSIM均高于现有算法,且重建出的图像具备更加丰富的细节和清晰的边缘。     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

基于深度渐进式反投影注意力网络的图像超分辨率重建

针对多数单帧图像超分辨率（SISR）方法在重建预测图像时存在高频信息丢失和上采样过程中会引入噪声以及特征图各通道之间的相互依赖关系难以确定等问题,提出了深度渐进式反投影注意力网络。首先使用渐进式上采样方法将低分辨率（LR）图像逐步缩放至给定的倍率,缓解上采样过程中造成的高频信息丢失等问题;然后在渐进式上采样的每个阶段融合迭代反投影思想,学习高分辨率（HR）和LR特征图之间的映射关系并减少上采样过程中引入的噪声;最后使用注意力机制为渐进式反投影网络不同阶段产生的特征图动态分配注意力资源,使网络模型学习到各特征图之间的相互依赖关系。实验结果表明,所提出的方法相比主流的超分辨率方法,峰值信噪比（PSNR）最高可增加3.16 dB,结构相似性最高可提升0.218 4。     

基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系，以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题，提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想，设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征，并将图像特征上采样至HR大小，得到粗糙特征；第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型，将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征，并通过注意力融合模块逐步融合不同尺度特征，以精细化第一阶段提取的特征。同时，该方法引入一种更丰富的卷积特征用于边缘检测，并将其作为感知边缘约束来优化网络，以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验，结果表明与现有的基于CNN的超分辨率重建方法相比，该方法不但能够重建出更为清晰的边缘和纹理，而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

多阶段融合网络的图像超分辨率重建

目的 近年来,深度卷积神经网络成为单帧图像超分辨率重建任务中的研究热点。针对多数网络结构均是采用链式堆叠方式使得网络层间联系弱以及分层特征不能充分利用等问题,提出了多阶段融合网络的图像超分辨重建方法,进一步提高重建质量。方法 首先利用特征提取网络得到图像的低频特征,并将其作为两个子网络的输入,其一通过编码网络得到低分辨率图像的结构特征信息,其二通过阶段特征融合单元组成的多路径前馈网络得到高频特征,其中融合单元将网络连续几层的特征进行融合处理并以自适应的方式获得有效特征。然后利用多路径连接的方式连接不同的特征融合单元以增强融合单元之间的联系,提取更多的有效特征,同时提高分层特征的利用率。最后将两个子网络得到的特征进行融合后,利用残差学习完成高分辨图像的重建。结果 在4个基准测试集Set5、Set14、B100和Urban100上进行实验,其中放大规模为4时,峰值信噪比分别为31.69 dB、28.24 dB、27.39 dB和25.46 dB,相比其他方法的结果具有一定提升。结论 本文提出的网络克服了链式结构的弊端,通过充分利用分层特征提取更多的高频信息,同时利用低分辨率图像本身携带的结构特征信息共同完成重建,并取得了较好的重建效果。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系,以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题,提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想,设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征,并将图像特征上采样至HR大小,得到粗糙特征;第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型,将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征,并通过注意力融合模块逐步融合不同尺度特征,以精细化第一阶段提取的特征。同时,该方法引入一种更丰富的卷积特征用于边缘检测,并将其作为感知边缘约束来优化网络,以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验,结果表明与现有的基于CNN的超分辨率重建方法相比,该方法不但能够重建出更为清晰的边缘和纹理,而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

多阶导数自适应视频超分辨率重建

传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 dB和1.14 dB。所提算法能够在去除噪声的同时有效保持图像的细节特征。