基于改进增强型超分辨率生成对抗网络的图像超分辨率重建算法

针对现有的图像超分辨率重建算法仍存在细节上处理不足的问题,提出一种基于改进增强型超分辨率生成对抗网络(ESRGAN)的图像超分辨率重建算法.首先,使用多尺度密集连接模块(MDB)代替密集连接模块(DB),并且在MDB后添加通道注意力机制,以调整不同通道的特征响应值,从而改进了ESRGAN的生成网络模型中的深层信息提取模...     

基于改进生成对抗网络的低剂量CT去噪算法

针对低剂量计算机断层扫描(computerized tomography,CT)在图像采集过程中引入较多噪声,造成图像质量严重下降的问题, 提出一种基于残差注意力机制与复合感知损失的低剂量CT去噪算法。在该算法中,利用生 成对抗网络完成对低剂量CT图像的去噪,在网络框架中引入多尺度特征提取及残差注意力 模块,以融合图像中不同尺度的信息,提高网络对噪声特征的区分能力,避免在去噪过程中 丢失图像细节信息。同时采用复合感知损失函数,以加快网络收敛速度,促使去噪图像在感 知上与原图像更接近。实验结果表明:与现有的算法相比,所提算法能够有效抑制低剂量 CT图像中的噪声,并恢复更多的纹理细节;对比低剂量CT图像,所提算法处理后的CT 图像峰值信噪比(peak signal-to-noise ratio,PSNR) 值提高了31.72%, 结构相似性(structural similarity,SSIM)值提高了13.15%,可以满足更高的医学影像诊断要求 。     

基于多尺度梯度的轻量级生成对抗网络

随着生成对抗网络研究的推进，网络模型的计算量急剧增加，其自身的训练不稳定问题依然存在，生成图像的质量也有待提升。为解决以上问题，文中提出一种轻量级生成对抗网络模型，引入多尺度梯度结构解决训练不稳定的问题。通过融合自注意力机制和动态卷积的思想，利用循环模块和图像增强模块，在保持较少参数的前提下提高模型的学习能力。对文中所提算法进行验证，实验结果表明该算法在CelebA数据集上的IS(Inception Score)值为2.75,FID(Fréchet Inception Distance)值为70.1,在LSUN数据集上的IS值为2.61, FID值为73.2,相比SAGAN、DCGAN等经典模型性有所提高，验证了该算法可行性和性能。     

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于生成对抗网络的多姿态人脸识别算法

头部姿态角转换会造成人脸成像多姿态变化,人脸离散数据的高斯分布混乱,无法准确地反映人脸多姿态的任意性和连续性,存在识别效果差的问题。引入生成对抗网络理论,设计多姿态人脸识别算法。对获取到的不同角度人脸图像,实施多姿态人脸校正与旋转残差注意力计算,解决当前头部姿态估计方法对不同人脸兴趣区域不稳健的问题。设计生成对抗网络进行双路循环优化,在生成的对抗网络中,参考CASIA-Net网络结构,使用深层次网络结构,每一层都有一个3*3的卷积核。所提出的设计可以降低网络参数,增强网络的非线性度,实现高效的面部特征提取,构建人脸多姿态识别模型,并完成人脸识别。通过实验结果表明,所提算法针对多姿态人脸识别效果好,在人脸不同姿态变化过程中,识别率始终在97%以上,更适用于多姿态人脸识别。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于改进超分辨率生成对抗网络的图像重建算法

针对现有基于像素损失的超分辨率图像重建算法对纹理等高频细节的重建效果差问题,提出了一种基于改进超分辨率生成对抗网络(SRGAN)的图像重建算法.首先,去除了生成器中的批归一化层,并结合多级残差网络和密集连接,用残差套残差密集块提高了网络提取特征的能力.然后,结合均方误差与感知损失作为指导生成器训练的损失函数,既保留了图...     

基于轻量化生成对抗网络的遥感图像超分辨率重建

针对ESRGAN模型复杂度高、特征提取与表示性能欠佳的问题,提出了一种基于轻量化生成对抗网络(Light weight Generative Adversarial Network, LwGAN)的遥感图像超分辨率重建算法。该算法以改进残差密集模块(Improved Residual Dense Block, IRDB)为基础块构建生成网络的高阶特征提取部分,提取了丰富的多样化特征,同时建立了特征的通道及长距离位置关系,在降低模型参数量的同时提升了模型的特征提取与表示性能。通过在UC MERCED和NWPU-RESISC45数据集上的实验结果表明,与ESRGAN相比,LwGAN获取了更大的峰值信噪比和结构相似度,显著提升了遥感图像的超分辨率重建性能,可视化结果表明重建图像恢复了更多的纹理细节信息,同时模型参数量仅为原始ESRGAN的约三分之一,大幅地提高了模型的运行效率,为后续遥感图像的分析处理奠定了基础。     

基于改进条件生成对抗网络的水下图像增强方法

光在水中传播使得红色光衰减严重,从而导致水下图像在颜色上出现偏绿或偏蓝的颜色色差。针对这一红色光衰减现象,提出了一种改进条件生成对抗网络的方法来对水下图像进行增强处理。首先使用动态阈值对原始图像进行初步颜色校正,之后利用条件生成对抗网络在编码与解码连接处引入链接块学习水下图像与正常图像之间的映射关系来实现水下图像的色彩恢复,再使用双边滤波算法进行图像去噪,提高图像的可视性。在损失函数中引入L1与L2损失结合对图像颜色进行学习,同时加入焦点损失来解决样本比例高度不平衡现象。实验结果表明,此方法在水下图像的颜色失真和模糊方面都有很好的增强效果,获得了较好的视觉效果。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于双专用注意力机制引导的循环生成对抗网络

现有基于循环生成对抗网络的图像生成方法通过引入独立通用的注意力模块,在无匹配图像转换任务中取得了较好的效果,但同时也增加了模型复杂度与训练时间,而且难以关注到图中关键区域的所有细节,图像生成效果仍有提升的空间。针对上述问题,提出一种基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN）,分别对生成器和判别器采用不同的注意力机制进行引导。首先,提出一种名为SAG(Special Attention-mechanism Guided)的专用注意力模块来引导生成器工作,在提升生成图像质量的同时降低网络的复杂度;然后,对判别器采用基于CAM(Class Activation Mapping)的专用注意力机制引导模块,抑制生成器生成无关的噪声;最后,提出背景掩码的循环一致性损失函数,引导生成器生成更加精准的掩码图,更好地辅助图像转换。实验证明,本文方法与现有同类模型相比,网络模型参数量降低近32.8%,训练速度快34.5%,KID与FID最低分别可达1.13和57.54,拥有更高的成像质量。     

基于半监督学习和生成对抗网络的医学图像融合算法

为了有效利用少量的医学图像标签数据和大量的无标签数据,提出了一种基于半监督学习和生成对抗网络的医学图像融合算法。所提生成对抗网络融合架构包含1个生成器网络和2个判别器网络。采用半监督学习策略对所提网络进行训练,主要包括监督训练、无监督训练、参数微调等3个阶段。此外,生成器由面向融合任务的U-Net和squeeze and excitation通道注意力模块组成,而判别器含有3层卷积层、1层全连接层及sigmoid激活输出层。在各种不同模态医学图像上的实验结果表明,与现有的6种基于深度学习的算法相比,所提算法的主观视觉效果和客观性能指标都有一定竞争力。相关消融实验也验证了半监督学习策略能强化生成网络的性能,提高融合图像的质量。     

基于注意力机制的双向生成对抗压缩网络

针对现有的图像超分辨率算法网络模型参数量大、计算复杂度高、前向推理过程中耗时长等问题,将深度可分离卷积层引入双向对抗生成网络模型中,同时为了保证双向生成对抗网络的精度,在下采样网络中引入混合注意力机制,以保证模拟生成的低分辨率图片更加贴近现实.在i78700 CPU上对Urban100测试集的图像放大4倍,所提算法的重建速度对比SRGAN算法提升了近5倍.在通用的测试数据集DIV2K中,将所提方法分别与Bicubic、SRCNN、SRGAN、ESRGAN等经典方法做实验对比,实验结果表明所提出的算法与其他算法相比在PSNR客观评价指标上平均提升了约0.7 dB,SSIM指标提升了约2.36％.     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。