融合感知损失的生成式对抗超分辨率算法

目的 现有的基于深度学习的单帧图像超分辨率重建算法大多采用均方误差损失作为目标优化函数,以期获得较高的图像评价指标,然而重建出的图像高频信息丢失严重、纹理边缘模糊,难以满足主观视觉感受的需求。同时,现有的深度模型往往通过加深网络的方式来获得更好的重建效果,导致梯度消失问题的产生,训练难度增加。为了解决上述问题,本文提出融合感知损失的超分辨率重建算法,通过构建以生成对抗网络为主体框架的残差网络模型,提高了对低分率图像的特征重构能力,高度还原图像缺失的高频语义信息。方法 本文算法模型包含生成器子网络和判别器子网络两个模块。生成器模块主要由包含稠密残差块的特征金字塔构成,每个稠密残差块的卷积层滤波器大小均为3×3。通过递进式提取图像不同尺度的高频特征完成生成器模块的重建任务。判别器模块通过在多层前馈神经网络中引入微步幅卷积和全局平均池化,有效地学习到生成器重建图像的数据分布规律,进而判断生成图像的真实性,并将判别结果反馈给生成器。最后,算法对融合了感知损失的目标函数进行优化,完成网络参数的更新。结果 本文利用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标作为客观评价标准,在Set5和Set14数据集上测得4倍重建后的峰值信噪比分别为31.72 dB和28.34 dB,结构相似度分别为0.892 4和0.785 6,与其他方法相比提升明显。结论 结合感知损失的生成式对抗超分辨率重建算法准确恢复了图像的纹理细节,能够重建出视觉上舒适的高分辨率图像。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面利用Charbonnier内容损失函数来提高图像的重建精度,另一方面使用预训练VGG网络激活前的特征值来计算感知损失以实现超分辨率图像的精确纹理细节重构.实验结果表明,SRAGAN在峰值信噪比和结构相似度分数上均优于当前流行算法,能够重构出更为真实和具有清晰纹理的图像.     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于注意力生成对抗网络的图像超分辨率重建方法

针对现有基于深度学习的图像超分辨率重建方法,其对细节纹理恢复过程中容易产生伪纹理,并且没有充分利用原始低分辨率图像丰富的局部特征层信息的问题,提出一种基于注意力生成对抗网络的超分辨率重建方法.该方法中生成器部分是通过注意力递归网络构成,其网络中还引入了密集残差块结构.首先,生成器利用自编码结构提取图像局部特征层信息,并提升分辨率;然后,通过判别器进行图像修正,最终将图像重建为高分辨率图像.实验结果表明,在多种面向峰值信噪比超分辨率评价方法的网络中,所设计的网络表现出了稳定的训练性能,改善了图像的视觉质量,同时具有较强的鲁棒性.     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

改进的SRGAN图像超分辨率重建算法

图像超分辨率重建技术可以提高图像的分辨率,在医学、军事等领域都发挥着重要作用.传统的SRGAN图像超分辨率重建算法训练收敛速度慢,高频纹理锐化过度导致部分细节扭曲,影响重建图像质量.针对以上问题,对传统SRGAN模型的生成网络和损失函数进行改进,用于图像超分辨率重建.采用稀疏残差密集网络(SRDN)代替传统的SRRes...     

基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率重建算法

目前深度学习模式下的图像超分辨率重建存在对纹理感知不够精确、重建图像不够真实等问题,为了改善重建图像质量,提出一种基于多感受野拉普拉斯生成对抗网络的单幅图像超分辨率算法.首先,利用多感受野特征提取、可分离拉普拉斯滤波和复合残差密集块构建生成网络,使网络提取更全面的图像信息;其次,利用多维软标签对抗网络,可使生成对抗网络更容易训练且重建图像纹理更加丰富;最后,网络预训练采用L1损失函数和VGG低层特征,使重建图像获取整体特征,训练使用VGG高层特征、Charbonnier损失和生成损失,使重建结果更加精细,纹理更加充分.实验使用Div2k和Flickr2K进行模型训练,使用Set5等数据集进行测试.结果表明,该算法比USRNet等相关算法的网络规模减小40％,感知指数比USRNet平均降低0.76％,图像重建结果具有更多细节且真实性更强.     

基于感知生成对抗网络的图像压缩感知重建

现有的深度压缩感知重建算法在低采样率下，由于使用像素损失指导优化的网络会使得重建的图像无法有效地提取出原始图像的纹理细节，导致重建图像视觉观感较差。针对上述问题，提出了基于感知生成对抗网络的图像压缩感知重建算法，用感知损失代替像素损失，使得重建图像细节和纹理特征保留。通过对比实验表明，提出的基于感知生成对抗网络的图像压缩感知重建算法在低采样率下重建出的图像具有更强的视觉效果和真实性。     

基于反馈生成对抗网络的单图像超分辨率重建

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(Ra LSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系,以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题,提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想,设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征,并将图像特征上采样至HR大小,得到粗糙特征;第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型,将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征,并通过注意力融合模块逐步融合不同尺度特征,以精细化第一阶段提取的特征。同时,该方法引入一种更丰富的卷积特征用于边缘检测,并将其作为感知边缘约束来优化网络,以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验,结果表明与现有的基于CNN的超分辨率重建方法相比,该方法不但能够重建出更为清晰的边缘和纹理,而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

基于动态自适应层叠网络的轻量化图像超分辨率重建

轻量化超分辨率网络对安防监控、实时人脸识别等领域具有重要意义。然而,现有超分辨率重建网络以牺牲内存和计算成本为代价提高重建效果,从而限制其在实际场景中的应用。提出基于动态自适应层叠网络的轻量化超分辨率重建网络。利用双路残差块中的深度可分离卷积提取低频特征,并引入像素注意力机制获取更丰富的细节特征,以减少参数量并增强网络的重建能力。将双路残差块中的一部分卷积参数作为动态卷积核的子卷积,并与动态自适应模块共享,利用可学习参数调节共享卷积的权重,增强网络的非线性映射关系,充分提取图像的纹理细节信息。实验结果表明,相比VDSR、CARN、PAN等网络,该网络重建得到的图像纹理更接近原始图像,其参数量仅为传统轻量化网络CARN的1/2,在放大因子为4的Set5数据集上峰值信噪比相比CARN提高0.16 dB。     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系，以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题，提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想，设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征，并将图像特征上采样至HR大小，得到粗糙特征；第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型，将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征，并通过注意力融合模块逐步融合不同尺度特征，以精细化第一阶段提取的特征。同时，该方法引入一种更丰富的卷积特征用于边缘检测，并将其作为感知边缘约束来优化网络，以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验，结果表明与现有的基于CNN的超分辨率重建方法相比，该方法不但能够重建出更为清晰的边缘和纹理，而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

基于多通道注意力机制的图像超分辨率重建网络

针对现有的图像超分辨率重建方法存在生成图像纹理扭曲、细节模糊等问题,提出了一种基于多通道注意力机制的图像超分辨率重建网络。首先,该网络中的纹理提取模块通过设计多通道注意力机制并结合一维卷积实现跨通道的信息交互,以关注重要特征信息;然后,该网络中的纹理恢复模块引入密集残差块来尽可能恢复部分高频纹理细节,从而提升模型性能并产生优质重建图像。所提网络不仅能够有效提升图像的视觉效果,而且在基准数据集CUFED5上的结果表明所提网络与经典的基于卷积神经网络的超分辨率重建（SRCNN）方法相比,峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了1.76 dB和0.062。实验结果表明,所提网络可提高纹理迁移的准确性,并有效提升生成图像的质量。     

矿井图像超分辨率重建研究

受井下粉尘大、照度低等环境影响,矿井图像存在分辨率低、细节模糊等问题,现有的图像超分辨率重建算法应用于矿井图像时,难以获取不同尺度图像信息、网络参数过大而影响重建速度,且重建图像易出现细节丢失、边缘轮廓模糊、伪影等问题。提出了一种基于多尺度密集通道注意力超分辨率生成对抗网络（SRGAN）的矿井图像超分辨率重建算法。设计了多尺度密集通道注意力残差块替代SRGAN原有的残差块,采用2路并行且卷积核大小不同的密集连接块,可充分获取图像特征;融入高效通道注意力模块,加强对高频信息的关注度;采用深度可分离卷积对网络进行轻量化,抑制网络参数的增加;利用纹理损失约束网络训练,避免网络加深时产生伪影。在井下数据集和公共数据集上对提出的矿井图像超分辨率重建算法和经典超分辨率重建算法BICUBIC,SRCNN,SRRESNET,SRGAN进行实验,结果表明：所提算法在主客观评价上总体优于对比算法,网络参数较SRGAN减少了2.54%,峰值信噪比与结构相似度较经典算法指标均值分别提高了0.764 dB和0.053 58,能更好地关注图像的纹理、轮廓等细节信息,重建图像更符合人眼视觉。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

高效多注意力特征融合的图像超分辨率重建算法

为改善图像质量,提升观测效果,针对现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题,提出一种高效多注意力特征融合的图像超分辨率重建算法(EMAFFN).该算法通过渐进式特征融合块(PFFB)逐步提取图像的特征信息,减少特征信息在深层次网络传递过程中的丢失,同时结合PFFB内部的高效多注意力块(EMAB)在通道和空间两个分支作用,自适应的对提取到的特征进行加权,使网络更多的关注高频信息,最后使用多尺度感受野块(RFB＿x)对提取到的特征进行增强、并多尺度融合特征来提升重建模块的性能.实验结果表明,EMAFFN在公共数据集Set5上的平均PSNR值最高达到37.93dB,SSIM达到0.9609,重建后的图像恢复了更多的高频信息,纹理细节丰富,更接近于原始图像.     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。