基于空间注意力残差网络的图像超分辨率重建模型

卷积神经网络中的层次特征可以为图像重建提供重要信息。然而,现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题,本文提出一种基于空间注意力残差网络的模型（Residual Network Based on Spatial Attention, SARN）。具体来说,首先设计一种空间注意力残差模块（Spatial Attention Residual Block, SARB）,将增强型空间注意力模块（Enhanced Spatial Attention, ESA）融入残差模块中,网络可以获得更有效的高频信息;其次融入特征融合机制,将网络各层获得的特征进行融合,提高网络中层次特征的利用率;最后,将融合后特征输入重建网络,得到最终的重建图像。实验结果表明,该模型无论在客观指标上,还是主观视觉效果上均优于对比算法,这说明本文提出的模型可以有效地利用图像中的层次特征,从而获得较好的超分辨率重建效果。     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于多级残差注意力的X-ray图像超分辨率重建

针对肺部X-ray图像在超分辨率重建过程中出现的肺部边缘不清晰以及器官纹理模糊等问题,提出一种基于多级残差注意力的X-ray图像超分辨率重建方法。将注意力机制嵌入残差块中构建网络基本块,在加速网络收敛的同时,使网络更加关注图像的边缘纹理特征;设计多尺度特征融合模块进行特征提取,保证结构信息的完整性;通过多级残差学习加速网络训练,并允许构建更深层次的网络;融合上采样图像与Bicubic图像完成最终重建,弥补特征提取过程中的特征损失。实验结果表明,所提出模型的PSNR、SSIM均高于现有算法,且重建出的图像具备更加丰富的细节和清晰的边缘。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题.针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络(AFN)的视频超分辨率模型.首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多...     

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型.利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,...     

基于多尺度注意力残差网络的图像超分辨率重建

数字图像在传递信息中起着重要的作用,图像超分辨率技术能丰富图像的细节信息.针对许多网络对低分辨率图像的有效特征复用不足和参数量过大的问题,本文结合不同大小的卷积核以及注意力残差机制构建图像超分辨率网络,用3个有差别尺度的卷积层来提取图像的特征,其中第2和第3层用小卷积核替代大的卷积核,对3层卷积融合之后引入注意力机制,...     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

分级特征反馈融合的深度图像超分辨率重建

受采集装置的限制, 采集的深度图像存在分辨率较低、易受噪声干扰等问题. 本文构建了分级特征反馈融合网络 (Hierarchical feature feedback network, HFFN), 以实现深度图像的超分辨率重建. 该网络利用金字塔结构挖掘深度−纹理特征在不同尺度下的分层特征, 构建深度−纹理的分层特征表示. 为了有效利用不同尺度下的结构信息, 本文设计了一种分级特征的反馈式融合策略, 综合深度−纹理的边缘特征, 生成重建深度图像的边缘引导信息, 完成深度图像的重建过程. 与对比方法相比, 实验结果表明HFNN网络提升了深度图像的主、客观重建质量.     

基于语义感知和空间注意力的人脸图像超分辨率重建

人脸图像超分辨率重建在人脸图像处理中具有重要的应用价值,近年来得到了广泛的研究。然而,以前的工作往往不能为真实世界的低质量人脸图像产生可信的高质量结果,例如在关键人脸结构（眼睛、嘴巴等）以及皮肤纹理等方面还有较大的改善空间。提出了一种基于语义感知和空间注意力的网络结构,用于人脸图像超分辨率重建。引入了一种语义感知风格损失,以改善人脸纹理的细节。此外,还引入了空间注意力残差块（SARB）,这使得卷积层能够自适应地引导与关键人脸结构相关的特征。最后在Helen和CelebA数据集上的实验结果表明,该方法在人脸图像超分辨率重建方面优于其他方法。     

基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

基于感受野扩展残差注意力网络的图像超分辨率重建

针对现有残差网络存在残差特征利用不充分、细节丢失的问题,提出一种结合两层残差聚合结构和感受野扩展双注意力机制的深度神经网络模型,用于单幅图像超分辨率(SISR)重建。该模型通过跳跃连接形成两层嵌套的残差聚合网络结构,对网络各层提取的大量残差信息进行分层聚集和融合,能减少包含图像细节的残差信息的丢失。同时,设计一种多尺度感受野扩展模块,能捕获更大范围、不同尺度的上下文相关信息,促进深层残差特征的有效提取;并引入空间-通道双注意力机制,增强残差网络的判别性学习能力,提高重建图像质量。在数据集Set5、Set14、BSD100和Urban100上进行重建实验,并从客观指标和主观视觉效果上将所提模型与主流模型进行比较。客观评价结果表明,所提模型在全部4个测试数据集上均优于对比模型,其中,相较于经典的超分辨率卷积神经网络(SRCNN)模型和性能次优的对比模型ISRN(Iterative Super-Resolution Network),在放大2倍、3倍、4倍时的平均峰值信噪比(PSNR)分别提升1.91、1.71、1.61 dB和0.06、0.04、0.04 dB;视觉效果对比显示,所提模型恢...     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

基于注意力机制与特征融合的图像超分辨率重建

目前多数利用卷积神经网络进行图像超分辨率重建的方法忽视对自然图像固有属性的捕捉,并且仅在单一尺度下提取特征。针对该问题,提出一种基于注意力机制和多尺度特征融合的网络结构。利用注意力机制融合图像的非局部信息和二阶特征,提高网络的特征表达能力,同时使用不同尺度的卷积核提取图像的不同尺度信息,以保存多尺度完整的信息特征。实验结果表明,该方法重建图像的客观评价指标和视觉效果均优于Bicubic、SRCNN、SCN和LapSRN方法。     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性.针对上述问题,提出了一种基于通道注意力机制(CA)和深度可分离卷积(DSC)的图像超分辨率重建方法.整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,...     

通道与空间注意力图像超分辨率网络

单幅图像超分辨率（Single Image Super Resolution,SISR）在计算机视觉领域占有重要地位,该技术旨在从低分辨率图像中重建出高分辨率图像。近年来,深度神经网络在SISR领域起到了至关重要的作用,然而,目前利用卷积神经网络平等地对待高频与低频特征,使得高频细节的重建表现不佳,输出过于平滑,缺少纹理信息。另一方面,过于深的网络不容易收敛,并且随着神经网络的深度增长,来自前一层的长期信息很容易在后期层中减弱或丢失,使得重建收益不能正比于网络的深度与计算复杂度。针对以上问题,对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块,在同一通道中,不同位置的信息被空间注意力模块赋予不同的权重,不同通道间的权重由通道注意力模块决定,这使得高频信息在重建任务中获得更高的地位,提高了重建指标。进一步地提出了长期特征调制模块将网络的层深度转化为块深度,大大缩小了网络深度,以解决前层长期信息的丢失问题。在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升,这证明了提出的方法的有效性与先进性。     

基于混合先验模型的超分辨率重建

在L1范数图像超分辨率重建算法框架下,引入参数自适应估计,结合差分图像统计特性和概率分布模型提出一种基于混合先验模型的超分辨率重建方法。实验证明该方法可以弥补L1范数重建方法的不足,获得更多的图像细节,对模型误差表现出良好的稳健性,可以加速收敛。     

轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建

基于深度学习的图像超分辨率重建算法的性能需求导致急剧增加的参数量与高额的计算成本,这限制超分辨率重建在移动设备上的应用.针对此问题,文中提出轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建算法.首先,设计渐进可分离蒸馏重洗模块,进行多重信息蒸馏,在提取多层次特征的同时保持模型轻量化,使用多个特征提取连接,学习更具区别性的特征表示,以便网络能从蒸馏中获得更多有益信息.然后,设计对比感知坐标注意力模块,充分利用通道感知与位置敏感信息,增强特征选择能力.最后,提出逐步补偿残差连接方式,提高浅层特征的利用率,补偿网络的纹理细节特征.实验表明,文中算法在模型复杂性与重建性能之间实现较好的均衡,重建的高分辨率图像主客观质量都很优秀.     

残差密集注意力网络多模态MR图像超分辨率重建

目的 现有医学图像超分辨率方法主要针对单一模态图像进行设计,然而在磁共振成像(magnetic resonance imaging, MRI)技术的诸多应用场合,往往需要采集不同成像参数下的多模态图像。针对单一模态的方法无法利用不同模态图像之间的关联信息,很大程度上限制了重建性能。目前超分辨率网络模型参数量往往较大,导致计算和存储代价较高。为此,本文提出了一个轻量级残差密集注意力网络,以一个统一的网络模型同时实现多模态MR图像的超分辨率重建。方法 首先将不同模态的MR图像堆叠后输入网络,在低分辨率空间中提取共有特征,之后采用设计的残差密集注意力模块进一步精炼特征,再通过一个亚像素卷积层上采样到高分辨率空间,最终分别重建出不同模态的高分辨率图像。结果 本文采用MICCAI (medical image computing and computer assisted intervention) BraTS (brain tumor segmentation) 2019数据集中的T1和T2加权MR图像对网络进行训练和测试,并与8种代表性超分辨率方法进行对比。实验结果表明,本文方法可以取得优于...     

融合分层特征与残差蒸馏连接的图像超分辨率重建北大核心CSCD

针对目前诸多图像超分辨率重建算法通过采用单一通道网络结构无法充分利用特征信息的问题,提出了一种可以高效利用特征信息的融合分层特征与残差蒸馏连接的超分辨率重建算法。该方法首先设计了一种将分层特征融合与残差连接相结合的连接方式,对图像深层特征与浅层特征进行充分融合,提升了网络对于特征信息的利用率;其次设计出一种残差蒸馏注意力模块,使网络更高效地关注图像关键特征,从而可以更好地恢复出重建图像的细节特征。实验结果表明,所提出的算法模型不仅在4种测试集上呈现出更优秀的客观评价指标,而且在主观视觉效果上也呈现出更好的重建效果。具体在Set14测试集上,该模型4倍重建结果的峰值信噪比相对于对比模型平均提升了0.85 dB,结构相似度平均提升了0.034,充分证明了该算法模型的有效性。