改进残差块和对抗损失的GAN图像超分辨率重建

图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.     

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

生成式对抗网络的图像超分辨率重建

为了提高图像生成效果,减少高频信息损失,文中提出了一种基于深度学习的生成式对抗网络模型结构,实现单幅图像超分辨率重建。文中在SRGAN方法的基础上修改了网络结构、残差网络和卷积参数,采用DIV2K数据集进行网络模型训练,利用峰值信噪比和结构相识性两种评价标准对生成的图片质量进行测试与评价。实验结果表明,相较于SRGAN方法生成的高分辨率图像,文中方法生成的图像视觉效果更好、纹理更清晰,具有更好的客观和主观评价。     

基于改进生成对抗网络的图像数据增强方法

为了提高机器学习模型的精确度，提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练，克服了在生成模型中传统图像噪声输入随意的问题；采用逐层训练方式生成高分辨率图像，改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例，验证所提方法的有效性.研究结果表明，所提方法生成的图像质量更优，相比传统方法生成的图像峰值信噪比提高13.07%，结构相似性提高32.40%，弗雷歇初始距离降低37.58%，且数据增强后的模型平均精确度提升7.89%.     

神经网络模型在图像超分领域的应用研究

图像分辨率提高即超分技术是指从低分辨率图像重建相应的高分辨率图像,在医学影像等领域有重要的应用价值。传统的基于插值的方法效果不尽理想,近年来深度学习被应用于该领域。回顾了快速超分辨卷积神经网络（ FSRCNN）、深度超分辨率卷积神经网络（VDSR）、超分辨率生成对抗网络（ SRGAN）3种神经网络在图像超分中的应用原理,设计实验测试网络结构的效果,使用Set4、Setl4、 Urban100等数据集进行峰值信噪比、结构相似性等指标的测试ⅤDSR效果较好,改进VDSR网络结构,由原来的Y通道扩展为三通道（VDSR-RGB）,进一步提升了超分效果。     

基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

针对医学MRI影像成像过程中由于噪声、成像技术等各种干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法.首先,利用多尺度残差组改进网络中的残差块,局部残差特征聚合模块将残差组聚合在一起,实现残差特征的非局部使用,减少局部特征在网络传播过程中的丢失;其次,通过注意力机制获取对关键信息响应程度更高的通道和空间特征信息,进而提升重建图像的细节纹理效果;然后,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最后,将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,从而明确地指导高质量超分辨率图像生成.对比基于梯度引导的结构保留超分辨率算法(SPSR),本文所提算法在×2,×3,×4尺度下的峰值信噪比平均提高了0.72 dB,实验结果表明所提算法重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真.     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题，提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型，把输入的低分辨率图像转化为高分辨率图像，并利用原始图像的特征图计算内容损失；应用判别网络判别图像的真实性并计算对抗损失，不断反馈这两种损失来更新模型；通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上，经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9，使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富，在指标和图像效果上更优。     

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能.通过两步训练法,解决网络训练时调参困难的问题.引入热图损失、面部注意力损失和对抗性损失训练,提高超分辨率人脸图像的质量.实验结果证明,采用改进后的方法,可以生成面部细节更加清晰的高质量人脸图像.     

基于GAN的天文图像生成研究

生成对抗网络(GAN)被广泛应用于图像生成。生成恒星和星系图像对预测未知恒星和星系有着重要的意义。首次将GAN用于生成天文图像,给出了天文图像生成的GAN模型结构;设计了GAN训练的策略;为了提高GAN的稳定性,提出了改进的神经元抛弃方法,通过网格搜索法对模型中的部分高级参数进行了优化,并采用了韦氏距离对损失函数进行了改进。以斯隆数字巡天数据库(SDSS)中的恒星以及星系图像作为训练图像,采用改进方法和原始GAN分别生成了2种不同分辨率的恒星和星系图像,并进行了对比,验证了改进方法的有效性。     

一种多映射卷积神经网络的超分辨率重建算法

针对现有卷积神经网络在超分辨率重建的图像上存在部分细节特征不够突出、边缘模糊等问题,在现有模型三大模块的基础上对映射模块及损失函数进行细致剖析,提出了一种多映射卷积神经网络的超分辨率重建算法．该算法通过构建多映射网络,极大地丰富了图像在聚合高分辨图像时的特征维度．同时在重建模块的卷积层后引入全变分正则项,结合误差反向传播算法,可有效地对解空间约束,从而提取出精确、有效的特征,丰富重建图像的细节信息．在常用数据集上的实验结果表明,该算法生成的网络模型获得了更好的超分辨率结果,主观视觉评价和客观衡量指标有一定的改进,有效地提高了图像的分辨率．     

基于极限学习机的图像超分辨率算法

为了进一步提高基于学习的超分辨率图像重建质量,考虑到极限学习机(ELM)具有学习速度快和良好数据预测与分析能力,提出了1种基于极限学习机的图像超分辨率重建方法.在图像稀疏思想下,将高分辨率图像中的高频细节信息作为原子构建冗余字典.具体是提取训练图像的高频信息,采用改进的K-SVD算法对高低分辨率图像进行字典学习,构建对应的特征字典作为极限学习机的输入训练网络参数,建立超分辨率重建模型.最后仿真实验结果表明,所提算法能取得比对比算法更好的实验数据.     

双路多尺度残差网络的图像超分辨率重建

针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题,提出了一种双路多尺度残差网络(BMRN)的重建方法。首先直接对低分辨率图像进行特征提取,较大程度保留特征信息;再构建多个独立的双路多尺度残差网络提取高频信息,其中残差连接的引入可以有效解决网络加深导致的梯度消失问题,双路多尺度结构可以相互补充卷积中的尺度信息,改善网络中的信息流;最后通过上采样操作,得到重建高分辨率图像。在数据集Set5上进行的×3尺度的重建结果表明:与Bicubic、SRCNN和VDSR等传统方法相比,BMRN的平均PSNR/SSIM分别提高了3.37 dB/0.053 2、1.01 dB/0.012 4和0.09 dB/0.000 4。实验数据充分说明:BMRN能够较好的恢复图像轮廓特征,获得了较高的PSNR、SSIM和更好的视觉效果。     

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。     

改进型字典学习的图像超分辨率重建

针对现有算法中字典训练花费的时间非常大,且超分辨率图像重建效果不够理想等问题,提出一种改进型字典学习的超分辨率图像重建算法.该算法在字典训练阶段,先采用PCA对低频样本集进行降维,再单独训练出低频字典,然后利用稀疏表示系数集和高频图像样本集训练出对应的高频字典,从而提高了字典构建速度.在重建阶段,先利用字典重建出初始的高分辨率图像,再根据图像结构自相似的特征,对图像进行结构自相似优化,然后对图像进行全局优化,从而提高了重建图像的质量.实验结果表明,该方法无论是在客观评价指标还是主观视觉效果方面都有明显的提高.     

基于半监督级联网络的高质量医学图像集增强

应用于医学图像处理的深度神经网络在训练阶段需要大量高质量图像,因此,在医学图像数据量有限的情况下,网络性能会受到局限。虽然现有的基于生成对抗网络 ＧＡＮ 的增广方法能显著增加图像的数量,但是存在合成图临床表征不准确和缺乏多样性等问题。为解决上述问题,提出了一种新颖的基于半监督学习的多输入多分辨率多模板的生成对抗网络。多通道的输入分别为模型的训练提供了基于监督学习和无监督学习的优化目标;多分辨率级联策略降低了直接生成高分辨率医学图像的难度;多类别的参考模板为各通道及各分辨率尺度上的训练提供更准确的真实医学图像临床表征;引入了过渡机制和稠密残差块,提升了模型训练的稳定性。实验结果表明：相较于其他基于 ＧＡＮ 的生成模型,该网络模型能生成更高质量、更具多样性的医学图像。     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

马尔可夫模型与Shearlet变换结合的SAR图像超分辨率复原方法

为了不改变成像硬件条件,通过软件方法提高SAR图像分辨率,提出一种马尔可夫随机场(MRF)模型和Shearlet变换相结合的超分辨率复原方法。该方法分为两个过程,训练过程和学习过程。在训练过程中,首先对训练库中的高、低分辨率图像进行Shearlet变换,提取不同方向、不同分辨率的中、高频信息,然后对不同方向的中、高频信息进行分块。在学习过程中,使用Shearlet变换提取待复原图像的中频信息并对其分块,然后在训练库的辅助下,使用MRF建立图像特征模型,最后通过最大后验概率(MAP)估计出各个方向的高频信息,将估计出的高频信息和待复原的低分辨率图像叠加到一起进行Shearlet反变换,最终获得高分辨率图像。通过对真实SAR图像的处理结果表明,无论是主观的视觉效果还是客观的指标上,本文提出的方法都取得较好的结果,优于传统插值方法以及目前最新的基于稀疏表示的超分辨率方法。     

一种有效的超分辨率图像序列重建算法

针对降质图像序列的超分辨率重建研究,分析了超分辨率重建问题中图像序列的降质过程和重建过程的不适定问题,并提出了用最小二乘法和自适应正则化结合分布迭代的方法对图像序列进行重建.实验结果表明,该方法可以有效重建出高分辨率图像,在复原图像的峰值信噪比和主观视觉效果等方面比其他方法都有显著的提高.     

基于边缘指导的双通道卷积神经网络单图像超分辨率算法

当前基于卷积神经网络(CNN)的超分辨率(SR)重建算法,虽然取得了很大的成功,但是重建图像高频纹理的效果仍然不能令人满意,其高分辨率(HR)图像局部边缘存在明显的震荡.本文提出一种结合形态学成分分析(MCA)分解的边缘指导双通道CNNSR算法:待处理的低分辨率(LR)图像通过MCA分解为纹理部分和平滑结构部分;纹理部分和原LR图像共同组成双通道,输入到改进的网络结构中重建HR纹理部分;结合HR纹理输出与LR平滑结构部分重建HR图像.训练过程采用最小化纹理损失与原图像损失之和最优化网络模型参数.后处理包括:执行网络输出与LR输入图像的直方图匹配使色调保持一致,提升感官效果;应用迭代的反向映射使HR重建与LR输入保持退化算子一致性提高PSNR值.实验结果显示:该方法能够很好地恢复HR图像的纹理细节,对纹理细节丰富的图像恢复效果更好.