基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主,修复过程需要大量的人力、物力。随着深度学习的高速发展,不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题,提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先,在生成器部分引入空洞卷积层扩大感受野,并添加卷积注意力机制模块,在通道与空间2个维度增强重要特征的指导作用;在判别器部分增加全连接层数提升网络解决非线性问题的能力;在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果,最终得到修复图像的结构相似性高达0.955,能够得到较为自然的刺绣图像修复效果,可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

基于生成对抗网络的人脸属性图像生成

生成对抗神经网络是目前深度学习的热门研究方向,而人脸属性生成是重要研究分支之一,为解决目前关于人脸属性生成时导致背景出现颜色变化、扭曲、模糊,并且人脸生成后出现图片失真和其它面部属性有不同程度的变化,通过改进STGAN的网络结构,主要改进其网络归一化层,使得网络训练属性的精确度更高方法,合理控制属性幅度从而提高生成效果...     

基于生成对抗网络的SAR图像降噪模型

合成孔径雷达(SAR)是相干成像系统,生成的图像经常会被相干斑噪声污染,继而造成了SAR图像在后续分割、识别中准确率低的问题。针对图像被污染问题,设计了一种结合生成对抗网络(GAN)与残差网络(ResNet)的SAR图像降噪网络模型Re-GAN,其中,GAN中的生成器加入了ResNet中的残差块以增强对SAR图像降噪的能力,模型中的组合损失函数在降噪时可以更好地保留图像细节。在MATAR数据集上,Re-GAN分别与BM3D算法、小波降噪算法进行比较,实验结果证明,Re-GAN在视觉效果和定量分析方面都具有良好的性能。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于谱约束的生成对抗网络图像数据生成研究

数据匮乏是深度学习面临的一大难题。利用生成对抗网络(GAN)能够基于语义生成新的图像数据这一特性,提出一种基于谱约束的生成对抗网络图像数据生成方法,该方法针对卷积生成对抗网络模型易崩溃不收敛的问题,从每层神经网络的参数矩阵W的谱范数角度出发,引入谱范数归一化网络参数矩阵,将网络梯度限制在固定范围内,减缓判别网络收敛速度,从而提高GAN的训练稳定性。实验表明,通过该方法生成的数据相比原始GAN以及DCGAN、WGAN等生成的图像样本数据在图像识别网络中具有更高的准确率,能够对少量样本数据进行有效扩充。     

图像修复方法综述

图像修复技术是目前计算机视觉领域的研究热点之一,该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来,基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结,对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明,并对该领域目前所存在的问题和难点进行分析和展望。     

基于生成对抗网络的遮挡人脸修复

针对人脸识别中遮挡区域降低检测准确度的问题,提出一种基于生成对抗网络的遮挡人脸修复方法.该方法以生成对抗网络作为基本架构,结合Wasserstein距离和添加梯度惩罚损失函数来训练网络模型,以全局上下文损失和先验损失相结合的方式来约束网络生成无遮挡人脸图片,并利用泊松融合完成遮挡区域的修复.在CelebA数据集的实验结...     

基于条件生成对抗网络的信号生成技术

通信信号生成通常也叫信号重构,信号重构在欺骗干扰、环境构建等方面具有广泛应用,而生成对抗网络的提出为通信领域中的信号重构带来了新思路。文中利用生成对抗网络,在不对通信信号进行参数测量与特征分析的情况下,实现通信模拟调制信号的生成,并加入监督学习,使用有标签的数据集,在WGAN-GP的基础上构建CGAN与ACGAN两种网络模型进行模拟调制信号的生成,并在训练完成的生成器中通过指定标签生成特定调制样式的通信信号,最后经过对比分析,基于ACGAN的模拟调制信号生成的质量更优。     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

Exploration of the Relation between Input Noise and Generated Image in Generative Adversarial Networks

In this paper, we propose a hybrid model aiming to map the input noise vector to the label of the generated image by the generative adversarial network (GAN). This model mainly consists of a pre-trained deep convolution generative adversarial network (DCGAN) and a classifier. By using the model, we visualize the distribution of two-dimensional input noise, leading to a specific type of the generated image after each training epoch of GAN. The visualization reveals the distribution feature of the input noise vector and the performance of the generator. With this feature, we try to build a guided generator (GG) with the ability to produce a fake image we need. Two methods are proposed to build GG. One is the most significant noise (MSN) method, and the other utilizes labeled noise. The MSN method can generate images precisely but with less variations. In contrast, the labeled noise method has more variations but is slightly less stable. Finally, we propose a criterion to measure the performance of the generator, which can be used as a loss function to effectively train the network.     

基于改进生成对抗网络的红外图像增强算法

针对红外图像细节分辨率不高、目标边缘模糊等,提出一种基于改进生成对抗网络的红外图像增强算法。首先,基于编码解码网络U-Net构建生成器,优化U-Net跳跃连接方式,融合全局上下文模块,实现全局和局部特征的上下文建模;然后,基于胶囊网络构建鉴别器,结合Res2Net改进胶囊网络结构,并对胶囊网络全连接层进行反卷积重构,实现多尺度图像特征提取,减少模型参数冗余。实验表明,与当前主流算法相比,该算法能有效突出细节信息、抑制噪声,提高图像分辨率和视觉效果。     

基于改进生成对抗网络和MobileNetV3的带钢缺陷分类

针对数据集样本数量较少会影响深度学习检测效果的问题,提出了一种基于改进生成对抗网络和MobileNetV3的带钢缺陷分类方法.首先,引入生成对抗网络并对生成器和判别器进行改进,解决了类别错乱问题并实现了带钢缺陷数据集的扩充.然后,对轻量级图像分类网络MobileNetV3进行改进.最后,在扩充后的数据集上训练,实现了带...     

一种基于U-Net生成对抗网络的低照度图像增强方法

在低照度环境下采集的图像具有低信噪比、低对比度及低分辨率等特点,导致图像难以识别利用.为了提升低照度图像的质量,本文提出一种基于U-Net生成对抗网络的低照度图像增强方法.首先利用U-Net框架实现生成对抗网络中的生成网络,然后利用该生成对抗网络学习从低照度图像到正常照度图像的特征映射,最终实现低照度图像的照度增强.实验结果表明,与主流算法相比,本文提出的方法能够更有效的提升低照度图像的亮度与对比度.     

利用生成对抗网络的时频图像去噪和增强处理

针对雷达信号时频图像的去噪和增强问题,提出了利用生成对抗网络二次生成时频图像的方法。首先利用时频分析产生雷达信号的时频图像作为原始数据集1;接着利用生成对抗网络对数据集1进行学习之后生成新的数据集2,数据集2相对于数据集1拥有着去噪和增强的效果;最后提取时频图像奇异值特征检验生成的数据集2的有效性。对6种常见的雷达信号的时频图像进行了仿真实验,结果证明了该方法在时频图像去噪和增加样本多样性方面是有效的。     

分层级联生成对抗网络用于手背静脉图像修复

为解决在识别过程中因手背静脉图像信息缺失而造成识别效率低下的问题,本文提出了分层级联生成对抗网络的手背静脉图像修复框架。该网络框架分别以级联与并行分层的方式进行修复操作,通过并行分层结构创新性的融合了不同静脉图像的特征信息;为有效地利用静脉图像的上下文信息对缺失的静脉图像信息进行预测与补全,在网络中创新性的引入了空洞卷积核与非局部注意力网络;为保证修复静脉图像质量与其真实图像的一致性,创新性的结合对抗损失与感知损失进行优化。实验结果表明,本文算法在视觉效果、峰值信噪比（Peak Signal to Noise Ratio,PSNR）和结构相似性（Structural Similarity Index,SSIM）等方面表现优于已有算法,并在两个公开的掌纹与指纹数据集上进行了有效的泛化验证。此外,修复图像相较于缺失图像在身份识别效率方面有了一定的提高。      

基于改进的U-Net生成对抗网络的图像翻译算法

针对传统生成对抗网络(Generative Adversarial Networks,GAN)在图像翻译过程中生成图像的轮廓、纹理等特征丢失以及造成图像翻译效果不佳的问题,提出了基于改进U-Net模型的生成对抗网络图像翻译算法。首先,实验研究Pix2Pix生成对抗网络优化算法、学习率以及迭代次数对图像翻译效果的影响,确定生成对抗网络模型参数与优化方法;其次,通过增加反卷积跳跃连接的重复次数增强特征的表达能力;最后,在CUFS人脸数据库上进行实验确定模型参数。实验表明,反卷积跳跃连接的重复次数为5次时,图像翻译的用户调研满意评价指标达到42%,图像翻译的质量达到最优。     

基于梯度指导的生成对抗网络内镜图像去模糊重建

胃肠镜检查是目前临床上检查和诊断消化道疾病最重要的途径,内窥镜图像的运动模糊会对医生诊断和机器辅助诊断造成干扰。现有的去模糊网络由于缺乏对结构信息的关注,在处理内窥镜图像时普遍存在着伪影和结构变形的问题。为解决这一问题,提高胃镜图像质量,该文提出一种基于梯度指导的生成对抗网络,网络以多尺度残差网络(Res2net)结构作为基础模块,包含图像信息支路和梯度支路两个相互交互的支路,通过梯度支路指导图像去模糊重建,从而更好地保留图像结构信息,消除伪影、缓解结构变形;设计了类轻量化预处理网络来纠正过度模糊,提高训练效率。在传统胃镜和胶囊胃镜数据集上分别进行了实验,实验结果表明,该算法的峰值信噪比(PSNR)和结构相似度(SSIM)指标均优于对比算法,且复原后的视觉效果更佳,无明显伪影和结构变形。     

基于生成对抗网络的轴承失效信号生成研究

在基于数据驱动的机械系统故障诊断领域中,关于特征提取和诊断模型已经取得了一定的进展。但在整套诊断进程中,失效信号的缺失一直是诊断中不可避免的问题。结合在图像处理领域卓有成效的GAN模型,文中以生成信号和真实信号间的概率分布对比作为部分超参数的选择依据,以轴承正常阶段信号作为模型的输入信号,以轴承仿真信号作为生成的目标,同时结合正常阶段的机械特性和仿真信号的故障特性进行失效信号的生成。通过概分布、包络谱、峭度及裕度特征的全寿命拟合曲线等方法验证了生成的信号比仿真信号更接近真实失效信号。