基于广泛激活深度残差网络的图像超分辨率重建

为了得到更好的图像评价指标,均方误差损失是大多数现有的与深度学习方法结合的图像超分辨率技术都在使用的目标优化函数,但大多数算法构建出来的图像因严重丢失高频信息和模糊的纹理边缘而不能达到视觉感受的需求.针对上述问题,本文提出融合感知损失的广泛激活的非常深的残差网络的超分辨率模型,通过引入感知损失、对抗损失,并结合平均绝对...     

融合感知损失的生成式对抗超分辨率算法

目的 现有的基于深度学习的单帧图像超分辨率重建算法大多采用均方误差损失作为目标优化函数,以期获得较高的图像评价指标,然而重建出的图像高频信息丢失严重、纹理边缘模糊,难以满足主观视觉感受的需求。同时,现有的深度模型往往通过加深网络的方式来获得更好的重建效果,导致梯度消失问题的产生,训练难度增加。为了解决上述问题,本文提出融合感知损失的超分辨率重建算法,通过构建以生成对抗网络为主体框架的残差网络模型,提高了对低分率图像的特征重构能力,高度还原图像缺失的高频语义信息。方法 本文算法模型包含生成器子网络和判别器子网络两个模块。生成器模块主要由包含稠密残差块的特征金字塔构成,每个稠密残差块的卷积层滤波器大小均为3×3。通过递进式提取图像不同尺度的高频特征完成生成器模块的重建任务。判别器模块通过在多层前馈神经网络中引入微步幅卷积和全局平均池化,有效地学习到生成器重建图像的数据分布规律,进而判断生成图像的真实性,并将判别结果反馈给生成器。最后,算法对融合了感知损失的目标函数进行优化,完成网络参数的更新。结果 本文利用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标作为客观评价标准,在Set5和Set14数据集上测得4倍重建后的峰值信噪比分别为31.72 dB和28.34 dB,结构相似度分别为0.892 4和0.785 6,与其他方法相比提升明显。结论 结合感知损失的生成式对抗超分辨率重建算法准确恢复了图像的纹理细节,能够重建出视觉上舒适的高分辨率图像。     

改进型轻量级GAN的红外图像超分辨率方法

红外图像超分辨率是图像超分辨率重建的子领域,基于深度学习的方法侧重于研究色彩和纹理丰富的RGB图像重建,对于像素分布均匀、对比度低、高频细节特征丢失的红外图像提取特征效率低.本文采用生成对抗网络(GAN)针对红外图像提出了一种能重建细节纹理超分辨率方法,用轻量级注意力残差块(Lightweight attention residual block, LARB)构建生成器网络,以低成本、高效率提取到红外图像的像素特征信息;结合特征激活前的感知损失、Huber损失和Wasserstein距离使模型稳定收敛,减少图像重建后伪影的产生;引入近红外图像数据集与红外特征图线性灰度变换使模型学习更多纹理特征以修复高频细节.实验结果显示,在PSNR的比较中,本文的模型在生成器参数(Params)仅有542K情况下大幅领先于参数为1518K的SRGAN;在部分测试数据集中SSIM高于参数为16697K的ESRGAN,表明了方法的有效性.     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。     

基于空洞卷积的医学图像超分辨率重建算法

为解决现有医学图像超分辨率重建中存在的图像细节模糊、全局信息利用不充分等问题,提出一种基于空洞卷积与改进的混合注意力机制的医学图像超分辨率重建算法。首先,将深度可分离卷积与空洞卷积相结合,使用不同大小的感受野对图像进行不同尺度的特征提取,从而增强特征表达能力;其次,引入边缘通道注意力机制,在提取图像高频特征的同时融合边缘信息,从而提高模型的重建精度;再次,混合L1损失与感知损失函数作为整体损失函数,使重建后的图像效果更符合人类视觉感观。实验结果表明,在放大因子为3时,与基于卷积神经网络的图像超分辨率（SRCNN）算法、VDSR(Very Deep convolutional networks Super-Resolution)相比,所提算法的峰值信噪比（PSNR）平均提高了11.29%与7.85%;结构相似性（SSIM）平均提高了5.25%和2.44%。可见,所提算法能增强医学图像的效果与纹理特征,且对图像整体结构还原更加完整。     

基于多损失融合与谱归一化的图像超分辨率方法

图像超分辨率重建研究存在结果客观衡量指标不断变优,但是视觉感知质量依旧平滑的问题。同时,应用生成对抗网络的超分辨率模型中的鉴别器（discriminator）设计存在一个普遍的问题,即训练不稳定问题。针对以上问题作出两点改进：提出多损失融合的方法,寻求一种在PSNR指标与感知质量之间的平衡,通过将均方误差损失、感知损失、风格损失与对抗损失进行融合的方法,在提高PSNR值的同时,改善图像视觉质量;在基于生成对抗网络的超分辨率模型的鉴别器设计中引入谱归一化（spectral normalization）,以实现更稳定有效的训练。结果显示,改进后的方法得到了更高的PSNR指标与更逼真的视觉感知质量,并进一步表明感知质量对于超分辨率重建的重要性。     

联合多任务学习的人脸超分辨率重建

目的 人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法 首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR（high-resolution）图像与SR（super-resolution）图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果 使用峰值信噪比（PSNR）和结构相似度（SSIM）两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集（CelebA）上,在放大8倍时,与通用超分辨率MemNet（persistent memory network）算法和人脸超分辨率FSRNet（end-to-end learning face super-resolution network）算法相比,本文算法的PSNR分别提升约2.15 dB和1.2 dB。结论 实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。     

颜色恢复和边缘保持的低照度图像超分辨率重建方法

针对常规图像超分辨率重建方法应用于低照度环境下的图像时存在纹理信息丢失、颜色偏移失真和重建性能退化等问题,提出了一种颜色恢复和边缘保持的低照度图像超分辨率重建方法。在锚定邻域回归（ANR）的图像超分辨率重建方法基础上引入颜色恢复和边缘保持的照度增强函数,从而提高图像内容和边缘纹理的显著性;选择最小加权二乘滤波作为中心环绕函数（WLS）以抑制高频特征退化;同时针对YCbCr颜色空间的Y通道分量采用边缘保持的照度增强函数计算其反射分量,进一步增强边缘纹理特征。实验结果表明,所提方法获得了更好的视觉效果,相比于其他方法,该方法峰值信噪比（PSNR）提高了63.15%,结构相似度（SSIM）分别提高了46.86%,感知质量（PI）提高了4.12%。     

基于残差神经网络的图像超分辨率改进算法

为更有效地提升图像的超分辨率（SR）效果,提出了一种多阶段级联残差卷积神经网络模型。首先,该模型采用了两阶段超分辨率图像重建方法先重建2倍超分辨率图像,再重建4倍超分辨率图像;其次,第一阶段与第二阶段皆使用残差层和跳层结构预测出高分辨率空间的纹理信息,由反卷积层分别重建出2倍与4倍大小的超分辨率图像;最后,以两阶段的结果分别构建多任务损失函数,利用第一阶段的损失指导第二阶段的损失,从而提高网络的训练速度,加强网络学习中的监督指导。实验结果表明,与bilinear算法、bicubic算法、基于卷积神经网络的图像超分辨率（SRCNN）算法和加速的超分辨率卷积神经网络（FSRCNN）算法相比,所提模型能更好地重建出图像的细节和纹理,避免了经过迭代之后造成的图像过度平滑,获得更高的峰值信噪比（PSNR）和平均结构相似度（MSSIM）。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系，以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题，提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想，设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征，并将图像特征上采样至HR大小，得到粗糙特征；第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型，将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征，并通过注意力融合模块逐步融合不同尺度特征，以精细化第一阶段提取的特征。同时，该方法引入一种更丰富的卷积特征用于边缘检测，并将其作为感知边缘约束来优化网络，以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验，结果表明与现有的基于CNN的超分辨率重建方法相比，该方法不但能够重建出更为清晰的边缘和纹理，而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

基于自注意力生成对抗网络的图像超分辨率重建

针对如何恢复重建后超分辨率图像的纹理细节问题,提出基于自注意力生成对抗网络的图像超分辨率重建模型(SRAGAN).在SRAGAN中,基于自注意力机制和残差模块相结合的生成器用于将低分辨率图像变换为超分辨率图像,基于深度卷积网络构成的判别器试图区分重建后的超分辨率图像和真实超分辨率图像间的差异.在损失函数构造方面,一方面...     

多监督损失函数光滑化图像超分辨率重建

目的 将低分辨率(low-resolution,LR)图像映射到高分辨率(high-resolution,HR)图像是典型的不适定恢复问题,即输出的HR图像和输入的LR图像之间的映射是多对一的,这意味着仅通过增加网络深度来确定HR图像与LR图像之间的特定映射关系是非常困难的。针对该问题,本文提出一种基于多监督光滑化损失函数的图像超分辨率方法。方法 该方法主体由LR图像上采样通道和HR图像下采样通道两部分组成。各通道分为两个阶段,每个阶段均包括浅层特征提取模块、基于迭代采样错误反馈机制的采样模块、全局特征融合模块和图像重建模块。将LR图像上采样通道第1阶段结果与HR图像下采样通道第1阶段结果对比,然后将HR原图像和HR图像下采样通道第2阶段结果作为约束构成多监督,使映射函数空间尽可能精确,并将多监督损失函数光滑化保证梯度在全局范围内传递。结果 在基准测试集Set5、Set14、BSD100(Berkeley segmentation dataset)、Urban100(urban scenes dataset)、Manga109(109 manga volumes dataset)数据集...     

基于真实退化估计与高频引导的内窥镜图像超分辨率重建

内窥镜是诊断人体器官疾病的重要医疗设备, 然而受人体内腔环境影响, 内窥镜图像分辨率一般较低, 需对其进行超分辨处理. 目前多数基于深度学习的超分辨算法直接使用双三次插值下采样从高质量图像中获取低分辨率(Low-resolution, LR)图像以进行配对训练, 此种方式会导致纹理细节丢失, 不适用于医学图像. 为解决该问题, 针对医学内窥镜图像开发了一种新颖的退化框架, 首先从真实低质量内窥镜图像中提取丰富多样的真实模糊核与噪声模式, 之后提出一种退化注入算法, 利用提取的真实模糊核与噪声将高分辨率(High-resolution, HR)内窥镜图像退化为符合真实域的低分辨率图像. 同时, 提出一种高频引导的残差密集超分辨网络, 采用基于双频率信息交互的频率分离策略, 并设计多层级融合机制, 将提取的多级高频信息逐层嵌入残差密集模块的多层特征, 以充分恢复内窥镜图像的高频细节和低频内容. 在合成与真实数据集上的大量实验表明, 我们的方法优于对比方法, 具有更好的主客观质量评价.     

数据外补偿的深度网络超分辨率重建

单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块,存在若干高分辨率图像块与之对应.基于学习的方法受此影响,学习到的逆映射规则只能预测这些高分辨率图像块的均值,从而产生视觉上模糊的超分辨率重建结果.为了克服歧义性造成的高频细节损失,本文提出了一种基于深度网络,利用在线检索的数据进行高频信息补偿的图像超分辨率重建算法.该方法构建一个深度网络,通过三个分支预测高分辨率重建结果：一条旁路直接将输入的低分辨率图像输入到网络的最后一层;一条内部高频信息重建路径基于低分辨率图像回归预测高分辨率图像,重建高分辨率图像的主要结构;另一条外部高频信息补偿路径根据内部重建的结果,从在线检索到的相似图像中提取高频细节,对内部重建的重建结果进行细节补偿.在第二条路径中,为了有效提取高频信号并使之适应于内部重建的重建结构,本文在多层特征的测量和约束下,进行高频细节迁移.相比于之前基于云数据库的传统图像超分辨率方法,本文提出的方法是端对端可训练的（end-to-end trainable）,因此通过在大数据上进行学习,方法能同时建模内部重建和外部补偿,并能自动权衡两者利弊而给出最优的重建结果.图像超分辨率重建的实验结果表明,相比于最新的超分辨率算法,本文方法在主客观评价中均取得了更加优越的性能.     

改进相似性度量模型的单幅图像自学习超分辨算法

在自学习超分辨算法中,高低分辨率图像块匹配是否准确是算法的关键。在高低分辨率图像块匹配过程中,考虑图像块纹理结构的重要性,提出了一种基于纹理约束的图像块相似性度量模型,应用该模型完成了高低分辨率图像块更为准确的匹配,使超分辨结果图像的细节更加丰富,进一步提高了图像质量。该算法仅使用了单幅低分辨率图像自身的相关先验信息,有效提升了图像的空间分辨率。实验结果表明,与双三次插值算法、自相似学习超分辨算法相比,本文提出的算法超分辨视觉效果更好,并且在客观评价指标中同样表现良好。     

基于深度学习的单幅图像超分辨率重建综述

单幅图像超分辨率SISR重建指从单幅低分辨率图像恢复出高分辨率图像.深度学习方法越来越多地用于图像超分辨重建领域,由于深度网络模型可以自主学习低分辨率图像到高分辨率图像之间的映射关系,与传统方法相比在该领域展现出了更好的重建效果,因而基于深度学习的方法已经成为目前图像超分辨率重建领域的主流方向.围绕现有的超分辨深度网络...     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。