基于自适应残差的运动图像去模糊

针对当前运动图像去模糊网络忽略了运动模糊图像的非均匀性,不能有效地恢复图像的高频细节及去除伪影等问题,在对抗网络基础上提出一种基于自适应残差的运动图像去模糊方法.在生成网络中构造由形变卷积模块和通道注意力模块组成的自适应残差模块.其中,形变卷积模块学习运动模糊图像特征的形变量,可以根据图像的形变信息动态调整卷积核的形状和大小,提高网络适应图像形变的能力.通道注意力模块对所提取的形变特征进行通道调整,获取更多的图像高频特征,增强恢复后图像的纹理细节.在公开的GOPRO数据集上进行实验,实验结果表明,该算法的峰值信噪比(PSNR)有较大的提升,能够重建出纹理细节丰富的高质量图像.     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

融合分层特征与残差蒸馏连接的图像超分辨率重建北大核心CSCD

针对目前诸多图像超分辨率重建算法通过采用单一通道网络结构无法充分利用特征信息的问题,提出了一种可以高效利用特征信息的融合分层特征与残差蒸馏连接的超分辨率重建算法。该方法首先设计了一种将分层特征融合与残差连接相结合的连接方式,对图像深层特征与浅层特征进行充分融合,提升了网络对于特征信息的利用率;其次设计出一种残差蒸馏注意力模块,使网络更高效地关注图像关键特征,从而可以更好地恢复出重建图像的细节特征。实验结果表明,所提出的算法模型不仅在4种测试集上呈现出更优秀的客观评价指标,而且在主观视觉效果上也呈现出更好的重建效果。具体在Set14测试集上,该模型4倍重建结果的峰值信噪比相对于对比模型平均提升了0.85 dB,结构相似度平均提升了0.034,充分证明了该算法模型的有效性。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建

本文针对现有光学遥感图像超分辨率重建模型对感受野尺度关注不足和对特征通道信息提取不充分带来的问题, 提出了一种基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建模型. 该重建模型基于深度残差网络结构, 在网络的高频分支中设计了多个级联的多尺度特征和坐标注意力模块 (multi-scale feature & coordinate attention block, MFCAB), 对输入的低分辨率光学遥感图像的高频特征进行充分发掘: 首先, 在MFCAB模块中引入Inception子模块, 使用不同尺度的卷积核捕捉不同感受野下的空间特征; 其次, 在Inception子模块后增加坐标注意力子模块, 同时关注通道与坐标两个维度, 以获得更好的通道注意力效果; 最后, 对各MFCAB模块提取的特征进行多路径融合, 实现多重多尺度空间信息与通道注意信息的有效融合. 本文模型在NWPU4500数据集上2倍、3倍放大中PSNR值达到34.73 dB和30.12 dB, 较EDSR分别提升0.66 dB和0.01 dB, 在AID1600数据集上2倍、3倍、4倍放大中PSNR值达到34.71 dB、30.58 dB、28.44 dB, 较EDSR分别提升0.09 dB、0.03 dB、0.04 dB. 实验结果表明, 该模型在光学遥感图像数据集上的重建效果优于主流的图像超分辨率重建模型.     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于注意力机制和残差块的真实图像去噪

为有效去除真实图像噪声，提出一种基于注意力机制和残差块的图像去噪算法。采用通道和空间注意力机制相结合的双重注意力模块给不同的特征赋予权重，并与残差块合并于编解码结构；应用增大感受野模块，在保护图像结构的同时增大感受野；整体架构采用密集特征融合保留更多细节。实验结果表明，该算法在SIDD和DND数据集的峰值信噪比分别达到了39.59 dB和39.73 dB,结构相似性分别达到了0.911%和0.953%,具有最佳视觉效果。所提算法在去噪的同时能够保留更多图像细节信息。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。     

全局注意力门控残差记忆网络的图像超分重建

目的 随着深度卷积神经网络的兴起,图像超分重建算法在精度与速度方面均取得长足进展。然而,目前多数超分重建方法需要较深的网络才能取得良好性能,不仅训练难度大,而且到网络末端浅层特征信息容易丢失,难以充分捕获对超分重建起关键作用的高频细节信息。为此,本文融合多尺度特征充分挖掘超分重建所需的高频细节信息,提出了一种全局注意力门控残差记忆网络。方法 在网络前端特征提取部分,利用单层卷积提取浅层特征信息。在网络主体非线性映射部分,级联一组递归的残差记忆模块,每个模块融合多个递归的多尺度残差单元和一个全局注意力门控模块来输出具备多层级信息的特征表征。在网络末端,并联多尺度特征并通过像素重组机制实现高质量的图像放大。结果 本文分别在图像超分重建的5个基准测试数据集（Set5、Set14、B100、Urban100和Manga109）上进行评估,在评估指标峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity,SSIM）上相比当前先进的网络模型均获得更优性能,尤其在Manga109测试数据集上本文算法取得的PSNR结果达到39.19 dB,相比当前先进的轻量型算法AWSRN（adaptive weighted super-resolution network）提高0.32 dB。结论 本文网络模型在对低分图像进行超分重建时,能够联合学习网络多层级、多尺度特征,充分挖掘图像高频信息,获得高质量的重建结果。     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

基于多残差网络的结构保持超分辨重建

针对图像超分辨率重建中几何结构扭曲和细节缺失等问题,文中提出基于多残差网络的结构保持超分辨重建算法.在小波变换域和梯度域上进行深度学习.文中算法包含3种残差网络.残差梯度网络用于结构及边缘信息的重建.残差小波变换网络从整体上进行图像高频信息的重建.残差通道注意力网络通过调整网络注意力,着重学习重要的通道特征,从局部恢复...     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

基于通道注意递归残差网络的图像超分辨率重建

近年来,深度学习被广泛应用于图像超分辨率重建.针对基于深度学习的超分辨率重建方法存在的特征提取不充分、细节丢失和梯度消失等问题,提出一种基于通道注意的递归残差深度神经网络模型,用于单幅图像的超分辨率重建.该模型采用残差嵌套网络和跳跃连接构成一种简洁的递归残差网络结构,能够加快深层网络的收敛,同时避免网络退化和梯度问题.在特征提取部分,引入注意力机制来提升网络的判别性学习能力,以提取到更准确、有效的深层残差特征;随后结合并行映射重建网络,最终实现超分辨率重建.在数据集Set5,Set14,B100和Urban100上进行放大2倍、3倍和4倍的重建测试实验,并从客观指标和主观视觉效果上将所提方法与主流方法进行比较.实验结果显示,所提方法在全部4个测试数据集上的客观指标较对比方法均有明显提升,其中,相比插值法和SRCNN算法,在放大2倍、3倍、4倍时所提方法的平均PSNR值分别提升了3.965 dB和1.56 dB、3.19dB和1.42 dB、2.79 dB和1.32 dB.视觉效果对比也表明所提方法能更好地恢复图像细节.     

基于感受野扩展残差注意力网络的图像超分辨率重建

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型ISRN(Iterative Super-Resolution Network),在放大2倍、3倍、4倍时的平均峰值信噪比(PSNR)分别提升1.91、1.71、1.61 dB和0.06、0.04、0.04 dB;视觉效果对比显示,所提模型恢...     

基于多级残差注意力的X-ray图像超分辨率重建

针对肺部X-ray图像在超分辨率重建过程中出现的肺部边缘不清晰以及器官纹理模糊等问题，提出一种基于多级残差注意力的X-ray图像超分辨率重建方法。将注意力机制嵌入残差块中构建网络基本块，在加速网络收敛的同时，使网络更加关注图像的边缘纹理特征；设计多尺度特征融合模块进行特征提取，保证结构信息的完整性；通过多级残差学习加速网络训练，并允许构建更深层次的网络；融合上采样图像与Bicubic图像完成最终重建，弥补特征提取过程中的特征损失。实验结果表明，所提出模型的PSNR、SSIM均高于现有算法，且重建出的图像具备更加丰富的细节和清晰的边缘。     

融合迭代反馈与注意力机制的图像超分辨重建方法

针对图像超分辨重建过程中原始高清图片与低质量图像之间缺乏依赖关系、深度网络中特征图信息不分主次重构导致的图像高频信息高精度重构困难的问题,提出一种融合迭代反馈与注意力机制的单幅图像超分辨重建方法。首先使用频率分解模块分别提取图像中的高、低频信息,并将二者分别处理,使网络重点关注提取出的高频细节部分,增强方法在图像细节上的复原能力;其次通过通道注意力机制将重建的重点放在有效特征所在的特征通道上,增强网络提取特征图信息的能力;然后采用迭代反馈的思想,在反复重建和比对过程中增加图像的还原程度;最后通过重建模块生成输出图像。在Set5、Set14、BSD100、Urban100和Manga109基准数据集上的2倍、4倍和8倍放大实验中,与主流超分辨率方法相比,所提方法表现出更优越的性能。在Manga109数据集的8倍放大实验中,相较于传统插值方法和基于卷积神经网络的图像超分辨率算法（SRCNN）,所提方法的峰值信噪比（PSNR）均值分别提升了约3.01 dB和2.32 dB。实验结果表明：所提方法能够降低重建过程中出现的误差,并有效重建出更精细的高分辨率图像。     

融合高频滤波和伪影损失的人脸超分辨率重建

人脸超分辨率重建的需求愈发强烈,针对现有方法在恢复图像时高频信息丢失严重导致平滑,同时伴随着伪影的问题,提出了融合高频滤波和伪影损失的重建方法。该方法能够获取人脸高频信息,在不影响细节纹理的情况下去除伪影,以生成对抗网络模型为框架,引入自适应残差结构以减少计算成本,使用Ranger优化器来缓解训练的不稳定。实验中,使用不同缩放因子,该方法相较于其他方法拥有更高的PSNR值和SSIM值。2倍、4倍、8倍缩放时在CelebAMask-HQ数据集上的PSNR值分别为37.88 dB、32.50 dB、29.51 dB,同时模型收敛速度较快,表明该方法的高效性与稳定性。