融合残差块注意力机制和生成对抗网络的海马体分割

研究一种基于改进的生成对抗网络的深度学习方法对海马体进行分割。提出不同的卷积配置,以捕获由分割网络获得的信息。提出以Pixel2Pixel为基本架构的生成对抗网络模型,生成模型结合残差网络以及注意力机制的编解码结构以捕获更多细节信息。判别网络采用卷积神经网络对生成模型的分割结果和专家分割结果进行判别。经过生成模型和对抗模型不断地传递其损失,使生成模型达到分割海马体的最优状态。使用来自ADNI数据集130名健康受试者的T1加权MRI扫描和相关海马标签作为训练和测试数据,以相似度系数作为评价指标,准确率达到89.46%。试验结果表明,该网络模型可以实现高效地自动分割海马体,对于阿尔茨海默症等疾病的正确诊断具有重要的现实意义。     

基于注意力机制的生成对抗网络古诗插图生成方法

古诗插图自动生成是非常具有挑战性的任务。提出了一种新的方法,通过使用注意力机制的生成对抗网络,输入古诗文字和草绘图,经由网络输出古诗插图。该模型在利用编码与解码的图片生成结构的同时,结合注意力机制,将图像色彩及轮廓特征进行了提取,生成器中加入了残差网络模块,增加了网络深度,同时提高了网络模型的效果,最终生成图像质量更高的古诗插图。实验结果表明,所提方法相较于对比方法,在图像质量和色彩渲染方面均有优势,输入的古诗和草图经过网络模型,生成了较为符合古诗意境的插图。     

基于SK注意力残差网络的水下图像增强

针对水下图像颜色失真、关键信息模糊和细节特征丢失的问题，提出一种基于SK注意力残差网络的水下图像增强方法.该方法通过改进生成对抗网络中的生成器结构，引入残差模块，减少编码器和解码器之间的特征丢失，增强了图像细节和颜色.为了使网络能适应不同尺度的特征图提取图像关键信息，该方法在残差模块后添加SK注意力机制，采用参数修正线性单元来提高网络的拟合能力.将本文方法分别在真实和合成的水下图像数据集中进行验证，采用传统方法和深度学习的方法进行主客观评价.在主观效果分析中发现，本文方法增强后的图像颜色、关键信息和细节特征都有很大提升.在客观评价指标中发现，本文方法指标值均高于现有的水下图像增强算法，验证了该算法的有效性.     

基于三判别器生成对抗网络的PET和MRI图像融合

针对正电子发射断层(positron emission tomography, PET)图像和磁共振成像(magnetic resonance imaging, MRI)的融合,提出了一种基于三判别器生成对抗网络的PET和MRI图像融合算法。首先将PET图像进行RGB到YCbCr彩色空间的转换;然后将所得PET图像的Y分量与MRI图像进行差分操作,得到“差分”图像;再将PET图像的Y分量、MRI图像和得到的差分图像进行“联结”,分别输入到三支路生成器网络中,得到融合图像的Y分量;接着将所得到融合图像的Y分量分别与源PET图像的Y分量、MRI图像和差分图像输入到三个判别器中,与生成器进行对抗训练;最后对得到的融合图像Y分量,连同PET图像的Cb和Cr分量进行YCbCr到RGB的反变换,从而得到最终的融合图像。在一组公开数据集上的实验结果表明,相较于其他几种对比算法,所提算法在主观判读与客观评价指标上均具有一定的优势。     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于生成对抗网络的低光照图像增强算法

传统的基于深度学习的方法在低照度图像增强中已经有比较好的发挥,但是这些方法通常需要成对的数据集进行训练,而相对应的数据集正是目前难以收集的。目前的增强方法在真实的低照度图像增强中也会产生增强效果不完美和出现图像噪声等问题。针对这些问题,设计了无监督生成对抗网络,使其可以不用配对训练数据集进行训练,并且把网络分解为注意力机制网络和增强网络2个子网络。通过注意力机制网络把低照度图像中的低光区域和亮光区域区分开,并使用残差增强网络结合全局局部判别器,对图像进行增强。实验结果表明,本文的方法在低光照图像增强方面优于Enlighten-GAN、Cycle-GAN等方法。     

一种双注意力融合生成对抗网络的水下图像增强模型

针对水下图像在生成过程中会受到水下杂质污染以及光的吸收等问题,提出了一种双注意力融合生成对抗网络的水下图像增强模型。该模型使用了最新的Pix2Pix网络架构,并通过构建的双注意力机制结构建立丰富的上下文信息来处理水下图像,在模型生成器UNet网络首部增加了改进型Non-local模块,从多尺度角度获取更多全局特征,从而得到更加清晰的图像,在生成器尾部引入了Transformer模块,通过其优异的多头注意力块和多层感知机等结构来提升模型综合性能,从而进一步提升模型语义信息提取能力。实验结果表明,该模型在基准数据集EUVP上的峰值信噪比、结构相似性、水下图像质量评价指标相比其他模型平均提升了5.83%、4.88%和18.02%,而在基准数据集EUVP上的相应指标平均提升了6.21%、17.33%和15.96%。在主观可视化结果下,该模型也能适当处理图像退化问题,使图像呈现更好的清晰度和对比度。     

融合边缘条件的多个鉴别器生成对抗网络

针对现有图像处理方法仍然存在人脸补全后,人脸五官等局部区域的视觉连通性较差的问题, 提出了一种包含全局鉴别网络、局部鉴别网络和人脸部位鉴别网络的边缘补全方法。其中全局鉴别网络鉴别 全图的视觉连通性;局部鉴别网络约束补全部分;人脸部位鉴别网络约束补全图像效果。将残缺灰度图、 残缺边缘图和掩膜图输入到边缘补全网络,得到补全边缘图。然后将补全边缘图和残缺彩色图输入到图像 补全网络,得到补全图像。边缘补全网络和图像补全网络进行端对端连接,形成一个完整的解决方案。在 CelebA 数据集上与对照组进行视觉连通性对比,结果表明：提出的算法能够更好地还原人脸部位的信息。     

基于生成对抗网络的交通模糊图像复原

针对光线及车辆运动造成的交通图像模糊和分辨率低等问题,提出一种基于生成对抗网络(GAN)的图像复原方法.在生成器中加入ResNeXt残差块,提高模型的去模糊效果,并使用对抗损失和感知损失保证图像内容的一致性;以DiscoGAN为基础,构建2个GAN对非成对图像进行正向循环和反向循环,实现了模糊域到清晰域的相互转换.实验...     

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。     

生成对抗网络用于视频去模糊

针对因拍摄设备抖动或目标运动而产生的视频模糊问题,提出了一种基于生成对抗网络和马尔可夫判别网络的新的视频去模糊方法。文中将基于像素空间的损失函数与基于特征空间的损失函数相结合,并依据马尔可夫判别网络设计了一种新的判别网络,促进了网络对图像纹理细节的学习,使得生成的清晰图像质量得到了显著提升。将文中方法与同类方法分别在测试集和真实数据上进行了定性定量的比较,实验结果表明,经文中方法去模糊后的图像具有更高的峰值信噪比和更丰富的细节信息。     

基于生成对抗网络的图像风格迁移

生成对抗网络(Generative Adversarial Network, GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.     

双目标优化与生成对抗网络结合的框架结构阻尼器布置方案智能设计方法

为实现框架结构的阻尼器智能化布置,结合减震设计原理和智能算法,采用双目标优化算法和生成对抗网络算法分别进行阻尼器竖向和水平智能布置研究,并将该方法应用到两个框架结构减震设计工程案例中。在框架结构减震设计中,采用双目标优化算法进行阻尼器竖向布置,并与逐层逼近法、工程师设计和非减震设计进行对比,结果表明,采用该优化算法得到的阻尼器竖向布置方案能有效降低层间位移角和楼层加速度,提高结构的抗震性能。在确定各楼层的阻尼器数量后,利用训练好的生成对抗网络生成模型,可快速、自动地选择和确定各楼层阻尼器的平面安装位置,生成的平面布置与工程师设计的平面布置在相似性差异度综合评价指标上小于临界值0.1,说明两者相似度较高,且有利于提高原结构的抗扭能力。将双目标优化算法与生成对抗网络相结合,不仅能满足框架结构的减震性能目标,而且可实现阻尼器布置方案的智能设计,提升减震工程设计效率。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

基于生成对抗网络的太阳能电池缺陷增强方法

为了解决太阳能电池样本不均衡问题,提出负样本引导生成对抗网络的太阳能电池缺陷样本增强方法. 通过在生成对抗模型中引入大量负样本和增加负样本引导损失,促进模型对正样本特征的表达,提升生成样本的多样性;设计自适应的权值约束方法,平衡生成器和判别器的表达能力,提升生成样本的质量. 实验结果表明,在太阳能电池电致发光(EL)缺陷数据集上,提出方法的生成质量和检测精度优于深度卷积生成对抗网络（DCGAN）、梯度惩罚Wasserstein距离生成对抗网络（WGAN-GP）和一阶导数生成对抗网络（FOGAN）;该方法的F测度较DCGAN、WGAN-GP和FOGAN分别最高提升了10%、8%和5%,具有较好的数据增强性能. 在带钢表面缺陷数据集及DAGM 2007公共数据集上,提出方法的性能优于DCGAN、WGAN-GP和FOGAN,具有一定的泛化能力.     

结合大气散射模型的生成对抗网络去雾算法

为了提高图像去雾的性能, 提出结合大气散射模型生成对抗网络的去雾算法. 算法在pix2pix GAN基础上进行改进, 将网络的生成器改进成双解码器结构,通过双解码器分别生成无雾图像和透射率图, 并结合大气散射模型还原雾图像,以进一步提高图像分解的质量. 在马尔科夫判别器结构中,采用反向学习机制代替随机裁剪机制,以有效降低因采用随机裁剪算法而导致的判断结果不准确的概率. 在原有的损失函数上,加入雾霾损失函数,提高图像转化的质量. 在STOS和NYU数据集上进行消融实验和对比实验. 大量实验表明所提出方法在PSNR和SSIM指标上比原算法Pix2pix GAN有所提高, 且均优于现有去雾算法,复原图像具有清晰度高、噪声低、纹理丰富的优点.