基于全局依赖Transformer的图像超分辨率网络

目前,基于深度学习的图像超分辨网络主要由卷积实现。相较于传统的卷积神经网络(CNN),Transformer在图像超分辨率任务中的主要优势是它的长距离依赖建模能力;然而大多数基于Transformer的图像超分辨率模型在参数量小、网络层数少的情况下无法建立全局依赖,限制了模型的性能。为了在超分辨率网络中建立全局依赖,提出了基于全局依赖Transformer的图像超分辨率网络(GDTSR),主要组成部分为残差方形轴向窗口块(RSAWB),它的内部轴向窗口Transformer残差层利用轴向窗口和自注意力,可以使每个像素与整个特征图建立起全局依赖。此外,目前大多数图像超分辨率模型的超分辨率图像重建模块都由卷积组成,为了动态整合提取到的特征信息,结合Transformer与卷积,共同重建超分辨率图像。实验结果表明,GDTSR在5个标准测试集Set5、Set14、B100、Urban100和Manga109上的测试结果中,3个倍数(×2,×3,×4)的峰值信噪比(PSNR)和结构相似性(SSIM)均达到了最优,特别是在大尺寸图像的Urban100和Manga109数据集上模型性能的提升尤为明显...     

基于Transformer的高光谱图像超分辨率重建

高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.     

轻量级图像超分辨率的蓝图可分离卷积Transformer网络

目的 图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,设计了一种轻量级图像超分辨率重建网络。方法 提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer网络（blueprint separable convolution Transformer network,BSTN）。基于蓝图可分离卷积（blueprint separable convolution,BSConv）设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块（shift channel attention block,SCAB）对通道重点信息进行加强,包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块（blueprint multi-head self-attention block,BMSAB）,通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果 本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上,本文方法在不同数据集上取得了不同程度的领先,并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时,在Set5数据集上相比SOTA（state-of-theart）方法,峰值信噪比（peak signal to noise ratio,PSNR）分别提升了0.11dB、0.16dB和0.17dB。主观上,本文方法重建图像清晰,模糊区域小,具有丰富的细节。结论 本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。     

高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因,红外图像的分辨率一般较低,限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型,包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差,两者之间是不完全对齐的,本文使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,本文使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明,本文方法可以取得优于对比方法的超分辨率性能。客观结果上,本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...     

基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部-全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU (Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR (Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。     

分层特征融合网络航拍图像超分辨率重建

基于深度学习的图像超分辨率网络模型复杂度高,特征利用率较低,尤其是应用在复杂拍摄环境中的图像超分辨率重建,由于特征损失严重,最终重建的效果也较差。针对以上问题,提出分层特征融合图像超分辨率网络。引入对称式的分层结构,以增强不同层次图像特征的融合;使用更为密集的残差连接结构,减少局部残差损失,同时缓解梯度消失和梯度爆炸问题;在每个残差块中加入注意力机制,增强网络对图像高频信息的敏感度。为了验证算法在复杂环境中的效果,将模型应用于高空航拍图像超分辨率重建中。实验结果表明,所提算法相比于EDSR算法,在14个不同航拍图像环境中,尤其是复杂场景下的重建,平均PSNR提高了0.31?dB,效果显著。     

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展,如何在更好提升重构性能的同时,有效降低重构模型的复杂度,以满足低成本及实时应用的需要,是该领域研究关注的重要问题。为此,提出了一种基于通道注意力（channel attention,CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer,CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征,不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势,而且将对应特征进行自适应增强与融合,有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集,与6种代表性方法进行了实验比较,结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时,比较先进的SwinIR （image restoration using swin Transformer）方法,峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升,在Manga109数据集提升了0.30 dB,具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法,通过融合卷积特征与Transformer特征,并自适应嵌入通道注意力特征增强,可以在较好地平衡网络模型轻量化同时,得到图像超分辨率性能的有效提升,在多个公共实验数据集的测试结果验证了本文方法的有效性。     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

基于密集反馈网络的单幅图像超分辨率重建

基于深度学习的单幅图像超分辨率网络模型体积庞大,导致参数利用率低且难以部署,对中间层特征利用不充分。提出一种密集反馈注意力网络（DFAN）模型。在同一特征图中通过多尺度残差注意力模块（MRAB）提取不同尺度的深层特征,以增加特征的多样性。同时将每个MRAB的输出均作为同组中其他残差模块的输入,使各层之间的信息流最大化,从而减小训练难度。实验结果表明,相比VDSR、DRRN、MemNet等模型,DFAN模型具有较优的重建效果,其在重建放大倍数为4的Set5数据集上计算复杂度仅为VDSR模型的0.14倍左右,而峰值信噪比提高了0.57 dB。     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于多尺度注意力残差网络的图像超分辨率重建

数字图像在传递信息中起着重要的作用,图像超分辨率技术能丰富图像的细节信息.针对许多网络对低分辨率图像的有效特征复用不足和参数量过大的问题,本文结合不同大小的卷积核以及注意力残差机制构建图像超分辨率网络,用3个有差别尺度的卷积层来提取图像的特征,其中第2和第3层用小卷积核替代大的卷积核,对3层卷积融合之后引入注意力机制,...     

基于像素对比学习的图像超分辨率算法

目前, 深度卷积神经网络(Convolutional neural network, CNN)已主导了单图像超分辨率(Single image super-resolution, SISR)技术的研究, 并取得了很大进展. 但是, SISR仍是一个开放性问题, 重建的超分辨率(Super-resolution, SR)图像往往会出现模糊、纹理细节丢失和失真等问题. 提出一个新的逐像素对比损失, 在一个局部区域中, 使SR图像的像素尽可能靠近对应的原高分辨率(High-resolution, HR)图像的像素, 并远离局部区域中的其他像素, 可改进SR图像的保真度和视觉质量. 提出一个组合对比损失的渐进残差特征融合网络(Progressive residual feature fusion network, PRFFN). 主要贡献有: 1)提出一个通用的基于对比学习的逐像素损失函数, 能够改进SR图像的保真度和视觉质量; 2)提出一个轻量的多尺度残差通道注意力块(Multi-scale residual channel attention block, MRCAB), 可以更好地提取和利用多尺度特征信息; 3)提出一个空间注意力融合块(Spatial attention fuse block, SAFB), 可以更好地利用邻近空间特征的相关性. 实验结果表明, PRFFN显著优于其他代表性方法.     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于多层次特征融合的图像超分辨率重建

深度卷积神经网络显著改进了单图像超分辨率的性能. 更深的网络往往能获得更好的性能. 但是, 加深网络会导致参数量急剧增加, 限制了它在资源受限设备上的应用, 比如智能手机. 提出了一个融合多层次特征的轻量级单图像超分辨率网络, 主要构件是双层嵌套残差块. 为了更好地提取特征, 减少参数量, 每个残差块采用对称结构: 先两次扩张, 然后两次压缩通道数. 在残差块中, 通过添加自相关权重单元, 加权融合不同通道的特征信息. 实验证明, 该方法显著优于当前同类方法.     

分级特征反馈融合的深度图像超分辨率重建

受采集装置的限制, 采集的深度图像存在分辨率较低、易受噪声干扰等问题. 本文构建了分级特征反馈融合网络 (Hierarchical feature feedback network, HFFN), 以实现深度图像的超分辨率重建. 该网络利用金字塔结构挖掘深度−纹理特征在不同尺度下的分层特征, 构建深度−纹理的分层特征表示. 为了有效利用不同尺度下的结构信息, 本文设计了一种分级特征的反馈式融合策略, 综合深度−纹理的边缘特征, 生成重建深度图像的边缘引导信息, 完成深度图像的重建过程. 与对比方法相比, 实验结果表明HFNN网络提升了深度图像的主、客观重建质量.     

基于模糊核估计的图像盲超分辨率神经网络

模糊图像的超分辨率重建具有挑战性并且有重要的实用价值. 为此, 提出一种基于模糊核估计的图像盲超分辨率神经网络(Blurred image blind super-resolution network via kernel estimation, BESRNet). 该网络主要包括两个部分: 模糊核估计网络 (Blur kernel estimation network, BKENet)和模糊核自适应的图像重建网络(Kernel adaptive super-resolution network, SRNet). 给定任意低分辨率图像(Low-resolution image, LR), 首先利用模糊核估计子网络从输入图像估计出实际的模糊核, 然后根据估计到的模糊核, 利用模糊核自适应的图像重建子网络完成输入图像的超分辨率重建. 与其他图像盲超分辨率方法不同, 所提出的模糊核估计网络能够显式地从输入低分辨率图像中估计出完整的模糊核, 然后模糊核自适应的图像重建网络根据估计到的模糊核, 动态地调整网络各层的图像特征, 从而适应不同输入图像的模糊. 在多个基准数据集上进行了有效性实验, 定性和定量的结果都表明该网络优于同类的图像盲超分辨率神经网络.     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

基于小波域的深度残差网络图像超分辨率算法

单幅图像超分辨率（SISR）是指从一张低分辨率图像重建高分辨率图像.传统的神经网络方法通常在图像的空间域进行超分辨率重构，但这些方法常在重构过程中忽略重要的细节.鉴于小波变换能够将图像内容的"粗略"和"细节"特征进行分离，提出一种基于小波域的深度残差网络（DRWSR）.不同于其他传统的卷积神经网络直接推导高分辨率图像（HR），该方法采用多阶段学习策略，首先推理出高分辨率图像对应的小波系数，然后重建超分辨率图像（SR）.为了获取更多的信息，该方法采用一种残差嵌套残差的灵活可扩展的深度神经网络.此外，提出的神经网络模型采用结合图像空域与小波域的损失函数进行优化求解.所提出的方法在Set5、Set14、BSD100、Urban100等数据集上进行实验，实验结果表明，该方法的视觉效果和峰值信噪比（PSNR）均优于相关的图像超分辨率方法.