基于改进pix2pix的红外图像转换技术

针对不同波段图像获取代价不同的问题,提出一种基于pix2pix的图像转换方法并进行改进。主要针对生成器和鉴别器两方面进行改进。生成器方面,使用残差结构的生成器替换原来的U-Net生成器以缓解梯度消失问题;引入可变形卷积,提高目标边缘和小目标的生成效果;引入BAM注意力机制,提高了算法对图像中主要目标的特征提取能力以提升生成图像的效果。鉴别器方面:改变PatchGAN中卷积层的层数(原PatchGAN为3层卷积),设置对照实验找到转换效果最好的卷积层数。以可见光图像和红外图像之间的转换为例进行实验。实验结果表明,改进后的算法在生成图像上的均方根误差(MSE)下降了314%、结构相似性(SSIM)提高了112%,可以更好的实现红外图像和可见光图像之间的转换。     

基于生成对抗网络的红外图像自适应校正算法

红外相机经过两点校正后会发生漂移,导致图像产生非均匀性噪声.传统的基于场景的非均匀性校正算法适应性较强,但会产生鬼影问题.基于深度学习的非均匀性校正方法,面对红外图像特殊的非均匀性噪声,随着网络深度增加,很容易出现图像模糊,对比度变小,细节丢失问题.针对此问题,提出一种基于生成对抗网络的非均匀性校正算法,网络分为生成网...     

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。     

基于生成对抗网络的单帧红外图像超分辨算法

高分辨率红外图像的获取受到了硬件性能的限制,利用信号处理的方法实现红外图像的超分辨率重建可以有效地提高红外图像的分辨率.将基于深度学习的超分辨方法应用于红外图像,实现了单帧红外图像的超分辨率重建,获得了更好的评价结果.通过引入对抗训练的思想,以及添加基于判别网络的损失函数分量,提高了放大倍数的同时,获得更好的高频细节恢复,图像边缘锐化,避免了超分辨率红外图像过于模糊.     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

基于渐进式生成对抗网络的舰船红外图像仿真

红外图像仿真在红外导引头设计、仿真训练中起到十分关键的作用.针对如何生成高分辨率、视觉特征可控的红外图像,提出了一种基于渐进式生成对抗网络的红外图像仿真方法.本文利用舰船模型的红外图像数据集训练了图像合成网络,输入随机特征向量,输出高分辨率的红外仿真图像;设计了图像编码网络,实现红外图像到特征向量的转换;利用Logis...     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

面向医学图像生成的鲁棒条件生成对抗网络

医学图像生成是计算机辅助诊断技术的关键组成,具有广泛的应用场景.当前基于生成对抗网络的端对端学习模型,依靠生成器和判别器两者对抗训练,获取真实数据的概率分布,从而指导图像生成.但标注有限的医学图像及其高分辨率特点,加大了模型训练难度,影响图像生成质量;同时,模型未纳入数据扰动因素,鲁棒性有限,容易被恶意攻击.为此,本文提出一个基于鲁棒条件生成对抗网络的医学图像生成模型——MiSrc-GAN.该模型包括精度渐进生成器、多尺度判别器以及对抗样本配对构造模块,有效融合GAN框架和对抗样本,改善判别器鲁棒性,有利于学习原始图像与待生成图像的联合概率分布.在真实数据集CSC和REFUGE上的实验表明,MiSrc-GAN生成的图像质量优于现有模型.     

基于对抗生成网络的纹理合成方法

纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式,通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此,提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像,且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。     

High-quality face image generation based on generative adversarial networks

Conventional face image generation using generative adversarial networks (GAN) is limited by the quality of generated images since generator and discriminator use the same backpropagation network. In this paper, we discuss algorithms that can improve the quality of generated images, that is, high-quality face image generation. In order to achieve stability of network, we replace MLP with convolutional neural network (CNN) and remove pooling layers. We conduct comprehensive experiments on LFW, CelebA datasets and experimental results show the effectiveness of our proposed method.     

学贯中西(7):介绍生成对抗网路(GAN)

1 GAN与NFT的结合 在上一期里,我们说明了天字第一号模型:分类器.接着本期就来看看它的一项有趣应用:GAN(generative adversarial networks,生成对抗网络).自从2014年问世以来,GAN在电脑生成艺术(generative art)领域,就开始涌现了许多极具吸引力的创作和贡献.GA...     

基于半监督生成对抗网络的乳腺癌图像分类

本文针对仅有少量带标签样本时如何提高大量未标 注样本分类的的鲁棒性和准确性问题,提出一种 基于改进的半监督生成对抗网络(semi-supvised generative adversarial networks,SGAN) 的乳腺癌图像分类方法。该方法在输出层使用Softmax 函数 替代 Sigmoid 函数实现多分类。首先将随机向量输入到生成网络中,生成伪样本并标记为伪样本 类进行训 练。接着将真实标签样本、真实无标签样本和伪样本输入到判别网络中,输出为不同类概率 值;然后采 用半监督训练方法反向传播更新参数;最后实现对乳腺癌病理图像的分类,标注样本数量分 别为25、 50和200,最终准 确率达到95.5%。实验结果表明,当标注 样本有限时,本文算法的准确 率具有良好 的鲁棒性。本文算法相比于使用卷积神经网络和迁移学习(tranfer learning,TL)等分类方法准确率有了显著提高。     

Facial parts swapping with generative adversarial networks

In this paper, we present a novel deep generative facial parts swapping method: parts-swapping generative adversarial network (PSGAN). PSGAN independently handles facial parts, such as eyes (left eye and right eye), nose, mouth and jaw, which achieves facial parts swapping by replacing the target facial parts with source facial parts and reconstructing the entire face image with these parts. By separately modeling the facial parts in the form of region inpainting, the proposed method can successfully achieve highly photorealistic face swapping results, enabling users to freely manipulate facial parts. In addition, the proposed method is able to perform jaw editing based on sketch guidance information. Experimental results on the CelebA dataset suggest that our method achieves superior performance for facial parts swapping and provides higher user control flexibility.     

基于改进条件生成对抗网络的分布式电源优化配置

分布式电源由于其出力存在不确定性的特点对配电网的规划有着明显的影响,为使规划结果更加合理,需对其出力的不确定性进行建模。首先利用改进的条件生成对抗网络模型对风电和光伏出力的不确定性进行建模,在模型中加入月份标签信息以生成具有时序特性的风电和光伏出力场景,并通过K-means聚类方法对生成的大量场景进行聚类。其次,建立了以年综合费用最小为目标的分布式电源优化配置模型,通过二阶锥松弛方法将模型转换为混合整数二阶锥规划问题快速求解。最后,通过IEEE 33节点算例系统验证构建模型的有效性。     

基于生成对抗网络的动态心电信号QRS波检测

心电信号分析是预防心血管疾病的重要举措,QRS波的精确检测不仅是心电信号处理的关键步骤且对心率计算和异常情况分析具有重要作用.针对动态心电信号存在信号质量差或异常节奏波形导致常用QRS波检测方法精度较低的问题,本文提出了 一种基于生成对抗网络新型QRS波检测算法.该算法以Pix2Pix网络为基础,生成网络采用U-Net...     

Fast event-inpainting based on lightweight generative adversarial nets

Event-based cameras generate sparse event streams and capture high-speed motion information, however, as the time resolution increases, the spatial resolution will decrease sharply. Although the generative adversarial network has achieved remarkable results in traditional image restoration, directly using it for event inpainting will obscure the fast response characteristics of the event camera, and the sparsity of the event stream is not fully utilized. To tackle the challenges, an event-inpainting network is proposed. The number and structure of the network are redesigned to adapt to the sparsity of events, and the dimensionality of the convolution is increased to retain more spatiotemporal information. To ensure the time consistency of the inpainting image, an event sequence discriminator is added. The tests on the DHP19 and MVSEC datasets were performed. Compared with the state-of-the-art traditional image inpainting method, the method in this paper reduces the number of parameters by 93.5% and increases the inference speed by 6 times without reducing the quality of the restored image too much. In addition, the human pose estimation experiment also revealed that this model can fill in human motion information in high frame rate scenes.     

生成式对抗神经网络的多帧红外图像超分辨率重建

生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法（M-GANs）。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。