一种门控卷积生成对抗网络的图像修复算法

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素.针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系.算法采用边缘修复加纹理修复的两阶段生成对抗修复网络.首先,用边缘检测...     

BDCN和U-net边缘生成两阶段修复算法

为了对图像中大面积不规则缺失区域进行合理的结构修复和精细的纹理重构,提出了一种基于双向级联边缘检测网络（BDCN）和U-net残缺边缘生成的两阶段网络图像修复算法.第一阶段首先基于BDCN网络提取边缘,然后基于U-net架构的边缘生成网络用下采样对缺失图像边缘提取特征,再结合上采样的输入信息和下采样各层信息还原图像边缘纹理细节;第二阶段使用空洞卷积进行下采样和上采样,经过残差网络重建细节丰富的缺失图像.在公开数据集上将所提算法与现有经典算法进行对比,实验结果表明,所提算法能得到合理的结构和精细的纹理细节,优于对比算法.     

基于VAEGAN的缺失数据填补研究

数据的完整性对人工智能、数据挖掘的研究有重要意义,然而在数据从采集到应用的过程中,由于各种原因,经常会存在数据缺失的现象。为减少数据缺失对数据应用带来的影响,提出一种基于变分自编码器生成对抗网络（Variational Autoencoder Generative Adversarial Network,VAEGAN）的缺失数据填补模型。模型根据不完整数据集中缺失信息构建缺失掩码,利用缺失掩码在无需完整数据参与的条件下设计重构损失函数和鉴别损失函数,在不完整数据集上采用变分推断的思想生成缺失数据的估计值,利用鉴别器对抗训练生成网络。最后在不同数据集、不同缺失的条件下与常用的缺失填补算法进行对比实验。     

基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

融入注意力机制的弱监督水下图像增强算法

基于监督学习的水下图像增强算法中所需成对训练样本获得困难,为此提出一种融入注意力机制的弱监督水下图像增强算法. 根据不同波长的光在水中传播时衰减程度不同的物理特性,计算红通道衰减图,并将依赖红通道衰减图引导的注意力模块融入生成网络,提高生成网络修正水下图像色偏的性能;设计对抗损失函数和结构相似性损失函数相结合的多项联合损失函数,在修正水下图像色偏的同时保留更多图像细节;在全局和局部两个尺度下优化提出的弱监督水下图像增强网络模型. 实验结果表明,所提算法在主观视觉质量和客观评价指标上都优于比较算法,可以有效地提高水下图像清晰度.     

条件约束下的自我注意生成对抗网络

为了解决生成对抗网络中因生成图像的特征信息表示不足而导致生成效果特征不明显、图像的关键特征信息模糊的问题, 提出了一种条件自我注意生成对抗网络的图像生成方法。该网络结合自我注意生成对抗网络的优点,向生成器和判别器中添加附加条件特征,明确指示模型生成对应的标志性类别信息,将数据的具体维度与语义特征关联起来,用这种方法提取其中的生成模型,使生成特定类型的图像的特征表示更加贴合原始数据分布。实验结果表明,所提出的方法在CelebA和MNIST数据集上的弗雷歇距离值相比较于自我注意生成对抗网络分别约提高了1.26和2.47。验证了所提出的方法相比较于其他的监督类生成模型可以有效地提升图像的质量效果以及多样性,并且可以有效地加快网络的收敛速度。     

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题，提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块，提高生成器提取书法字体细节特征的能力，通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性，避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征，使得字体轮廓更加清晰，最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明，提出算法的主观客观评价结果均优于对比算法，与zi2zi相比，峰值信噪比分别提高了1.58、1.76 dB，结构相似性分别提高了5.66%、6.91%，感知相似性分别降低了4.21%、6.20%.     

基于生成对抗网络的电网信息隐藏方法

针对传统信息隐藏算法存在译码精确度及安全性均较低的问题,在生成对抗网络的基础上,提出了适用于电力信息网络的信息隐写模型。利用基于SE-ResNet块的编码器和解码器来增强模型全局特征的自动选择能力。通过判别器、编码器与译码器的高强度对抗训练,在保持图像布局的基础上,提高了信息隐写模型的安全性能。仿真结果表明,与其他信息隐写算法相比,基于生成对抗网络的信息隐写模型具有更高的译码精确度与安全性,且时间消耗更少。     

基于SN-GAN的大面积缺损图像修复算法研究

针对传统图像修复算法存在的图像细节修复效果差、视觉连贯性不佳以及训练不稳定等问题,将生成对抗网络和孪生神经网络进行结合,孪生神经网络当成GAN中的判别器,并在生成网络中使用均方误差,孪生网络中使用对比损失.实验结果显示,SN-GAN模型在细节修复及视觉连贯性上得到一定提升,并且也更适用于大面积缺损图像的修复.     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

结合大气散射模型的生成对抗网络去雾算法

为了提高图像去雾的性能, 提出结合大气散射模型生成对抗网络的去雾算法. 算法在pix2pix GAN基础上进行改进, 将网络的生成器改进成双解码器结构,通过双解码器分别生成无雾图像和透射率图, 并结合大气散射模型还原雾图像,以进一步提高图像分解的质量. 在马尔科夫判别器结构中,采用反向学习机制代替随机裁剪机制,以有效降低因采用随机裁剪算法而导致的判断结果不准确的概率. 在原有的损失函数上,加入雾霾损失函数,提高图像转化的质量. 在STOS和NYU数据集上进行消融实验和对比实验. 大量实验表明所提出方法在PSNR和SSIM指标上比原算法Pix2pix GAN有所提高, 且均优于现有去雾算法,复原图像具有清晰度高、噪声低、纹理丰富的优点.     

基于生成式对抗网络和多级小波包卷积网络的水下图像增强算法

为了解决水下图像的雾模糊和偏色问题,针对水下图像成像模型提出基于生成式对抗网络（GAN）和改进卷积神经网络（CNN）的水下图像增强算法. 利用生成式对抗网络合成水下图像,以对配对式水下图像数据集进行有效扩充. 利用多级小波变换,以不丢失特征分辨率的方式对水下图像进行多尺度分解,然后结合卷积神经网络利用紧凑式学习方式对多尺度图像进行特征提取,并利用跳跃连接以防止梯度弥散,克服水下图像的雾模糊效应. 利用风格代价函数学习彩色图像各通道间的相关性,提高模型的色彩校正能力,克服水下图像色彩失真的问题. 实验结果表明,相较对比算法,在主观视觉和客观指标上,本研究所提算法拥有更优秀的综合性能及鲁棒性.     

基于生成对抗网络的太阳能电池缺陷增强方法

为了解决太阳能电池样本不均衡问题,提出负样本引导生成对抗网络的太阳能电池缺陷样本增强方法. 通过在生成对抗模型中引入大量负样本和增加负样本引导损失,促进模型对正样本特征的表达,提升生成样本的多样性;设计自适应的权值约束方法,平衡生成器和判别器的表达能力,提升生成样本的质量. 实验结果表明,在太阳能电池电致发光(EL)缺陷数据集上,提出方法的生成质量和检测精度优于深度卷积生成对抗网络（DCGAN）、梯度惩罚Wasserstein距离生成对抗网络（WGAN-GP）和一阶导数生成对抗网络（FOGAN）;该方法的F测度较DCGAN、WGAN-GP和FOGAN分别最高提升了10%、8%和5%,具有较好的数据增强性能. 在带钢表面缺陷数据集及DAGM 2007公共数据集上,提出方法的性能优于DCGAN、WGAN-GP和FOGAN,具有一定的泛化能力.     

MIRGAN:一种基于GAN的医学影像报告生成模型

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比,是一个更加具有挑战的任务.针对该任务,提出医学影像报告生成对抗网络(medical image report generative adversarial network,MIRGAN)模型.采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分...     

基于生成对抗网络的对抗样本集成防御

针对现有对抗样本防御方法防御能力不足、时间消耗过高等问题,参考生成对抗网络与集成学习在对抗样本研究中的优势,本文提出一种基于生成对抗网络的对抗样本集成防御方法.该方法使用生成对抗网络训练多个能够消除对抗样本表面对抗扰动的生成器,使用集成学习方法将多个生成器进行集成作为最终的防御.该方法的生成对抗网络由生成器和判别器组成...     

生成对抗网络用于视频去模糊

针对因拍摄设备抖动或目标运动而产生的视频模糊问题,提出了一种基于生成对抗网络和马尔可夫判别网络的新的视频去模糊方法。文中将基于像素空间的损失函数与基于特征空间的损失函数相结合,并依据马尔可夫判别网络设计了一种新的判别网络,促进了网络对图像纹理细节的学习,使得生成的清晰图像质量得到了显著提升。将文中方法与同类方法分别在测试集和真实数据上进行了定性定量的比较,实验结果表明,经文中方法去模糊后的图像具有更高的峰值信噪比和更丰富的细节信息。     

Reciprocal bi-directional generative adversarial network for cross-modal pedestrian re-identification

To improve the accuracy of cross-modal pedestrian re-identification,a reciprocal bi-directional generative adversarial network-based method is proposed.First,we build two generative adversarial networks to generate cross-modal heterogeneous images.Second,an associated loss is designed to pull close the distribution of features in latent space during the image translation between visible and infrared images so as to help the networks generate fake heterogeneous images that have high similarity with the real images.Finally,by concatenating the original and generated heterogeneous pedestrian images into the discriminative feature extraction network,images from different modalities can be unified into a common modality,thus suppressing the cross-modal gap.Representation learning and metric learning are utilized to achieve more discriminative pedestrian features.Comparative experiments are conducted on SYSU-MM01 and RegDB datasets to analyze the accuracy with different loss functions.Compared with other state-of-the-art cross-modal pedestrian re-identification methods,the proposed method achieves a higher accuracy and stronger robustness.