基于无监督学习的图像风格迁移方法

近年来,深度学习作为机器学习领域的一个分支,已经展现出强大的能力,其中基于卷积神经网络的无监督学习更是逐渐流行,之前有很多关于图像到图像翻译的工作,但都需要成对输入图片数据,这无疑增加了训练数据集获取的难度。笔者旨在实现在缺少成对数据的情况下使用生成对抗网络GAN学习从源数据域Y到目标数据域Y以实现图像到图像的翻译和风格迁移,通过学习映射G:X→Y和一个相反的映射F:Y→X,使它们成对,同时加入一个循环一致性损失函数,以确保F(G(X))≈X(反之亦然),最终实现通过输入一张具有任意风格的源图片进入网络并生成指定风格的图像,实现风格迁移。在缺少成对训练数据的情况下,本文成功实现了horse2zebra数据集和vangogh2photo数据集的风格迁移。     

梯度控制与鉴别特征引导的写实类人物肖像插画转换方法

现有的无监督图像转换方法由于未考虑人脸辨别特征保持这一问题,转换后得到的写实类人物肖像插画常会出现人脸变形和面部结构坍塌的现象,难以辨认人物信息.针对该问题,文中提出梯度控制与鉴别特征引导的写实类人物肖像插画转换方法.在循环生成对抗网络(CycleGAN)的基础上引入避免冗余特征复用的掩码残差长连接,将图像梯度信息一致性作为约束条件,较好地保持人脸辨别特征.设计鉴别特征引导的信息共享训练机制,使生成器具有和鉴别器相同的提取目标风格图像鉴别特征的能力.同时拓展图像块鉴别器为多感知鉴别器,获得丰富的鉴别信息.实验表明,文中方法转换得到的写实类人物肖像插画不仅较好地保持显著的人脸辨别特征,而且在插画视觉效果上较优.     

自监督学习的单幅透射图像恢复

现有基于学习的单幅透射图像恢复方法常需要大量成对的标签数据来训练模型,因缺乏成对图像集的监督约束,致使透射图像恢复效果欠佳,限制了其实用性.提出了一种基于自监督学习的单幅透射图像恢复方法,利用循环一致性生成对抗网络的循环结构和约束转移学习能力实现非成对图像的模型训练,通过设计自学习模块,从大规模的无监督数据中挖掘自身的监督信息对网络进行训练,以此形成有效的从浅层到深层的特征提取,提高透射图像正面内容的纹理、边缘等细节信息恢复质量,实现单幅图像的透射去除.实验结果表明,该方法在合成图像数据集、公共图像数据集以及真实图像数据集上都取得了较好的透射图像恢复结果.     

基于风格转换的无监督聚类行人重识别

无监督行人重识别中源域与目标域间的巨大差异性是影响模型性能的最关键因素。基于聚类的无监督行人重识别方法挖掘目标域数据间的相似性,以此缓解该问题,但仍未消除域间差异性。本文提出一种基于风格转换的无监督聚类行人重识别方法。首先,针对基于聚类方法的模型存在受域间差异性影响的问题,将一种基于生成对抗网络的风格转换方法引入到聚类方法模型中,将源域数据转换为目标域风格数据,直接减小域间差异性,提升模型的识别性能。其次,针对风格转换模型的生成器存在转换尺度单一以及特征信息传递效率低的问题,使用一种新型残差块替换原始残差块并将其引入到生成器上采样和下采样中,形成多特征尺度转换以及信息传递效率高的生成器,提升风格转换效果,降低域间差异性,进一步提升整体模型的识别效果。在Market1501以及Duke-MTMC-reID数据集上对所提的算法进行实验,结果表明改进方法取得了更好的识别效果。     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

非对称周期推理循环渐进的人脸修复算法研究

针对生成对抗网络中修复网络无法兼顾图像的全局一致性和局部一致性,且计算负载较大的问题,在非对称U-Net网络架构的基础上引入渐进修复的思想。首先,提出了非对称周期特征推理模块,增加图像修复内容与周围已知像素之间的关联性,提高了修复图像的全局一致性表现。其次,提出新型的U-Net结构生成器网络,避免了编码器中的未知像素进入解码器,从而破坏解码器中特征的问题。最后,引入了感知损失和风格损失,进而提高了网络在主观评价下的修复效果。在人脸图像数据集上的实验表明,该算法在主观视觉效果和客观指标上都有显著的提高。     

基于图像风格转换的水下图像显著性检测算法

由于水下显著性检测数据集不足,导致基于深度学习的水下图像显著性检测网络容易出现过拟合的问题,从而影响显著性检测网络的性能。针对上述问题,本文引入图像风格转换方法,提出一种基于CycleGAN的水下显著性检测网络。网络生成器由图像风格转换子网络和显著性检测子网络构成。首先,通过无监督的级联方式对风格转换子网络进行风格转换训练,并利用该网络对陆地图像和水下图像进行风格转换,构建训练和测试图像数据集,以解决水下显著性检测数据集不足的问题;然后,使用陆地及其风格转换后的显著性数据集对显著性检测子网络进行训练,以增强网络的特征提取能力;最后对两个图像风格的输出结果进行融合优化,以提高显著性检测网络性能。实验结果表明,本文提出的水下显著性检测网络相比于单纯的陆地和水下图像显著性检测网络,其检测平均绝对误差和F值至少分别提高了10.4%和2.4%。     

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network, GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题, 本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先, 生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系, 在低、高卷积层间增加跳跃连接, 降低无关图像域特征信息损失.其次, 判别器使用谱规范化防止因鉴别能力突变造成的梯度消失, 增强训练过程中整体模型的稳定性.最后, 在损失函数中基于循环重构增加自我重构一致性约束条件, 专注目标域的转变, 设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈, 完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法, 本文能够建立更真实的图像域映射关系, 提高了生成图像的翻译质量.     

基于图像蒙板的无监督图像风格迁移

目前大多数的图像风格迁移方法属于有监督学习,训练数据需要成对出现,并且在处理图像背景时,现有的方法过于繁琐。针对这些问题,提出了一种基于图像蒙板的无监督图像风格迁移方法。在实验中,采用了基于循环一致性的CycleGAN架构,并使用Inception-ResNet结构设计了一个全新的具有内置图像蒙板的生成式模型,最后通过无监督学习将图像的背景与学习到的抽象特征进行自动重组。实验表明,新方法有效地对图像背景和抽象特征进行自动分离与重组,同时解决了特征学习过程中的区域干扰问题,获得了可观的视觉效果。     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

Image Style Transfering Based on StarGAN and Class Encoder

The image style transfer technology has been integrated into people''s lives and is widely used in practical scenarios such as artistic images, photo to cartoon, image coloring, filter processing, and occlusion removal, which bears important research significance and application value. StarGAN is a generative adversarial network framework used in recent years for multi-domain image style transfer, which extracts features through simple down-sampling and then generates images through up-sampling. However, the background color information and detailed features of characters'' faces in the generated images are greatly different from those in the input images. In this paper, the network structure of StarGAN is improved, and a UE-StarGAN model for image style transfer is proposed by introducing U-Net and edge-promoting adversarial loss function. At the same time, the class encoder is introduced into the generator of the UE-StarGAN model, and an image style transfer model fusing class encoder based on a small sample size is designed to realize the image style transfer with a small sample size. The experimental results reveal that the model can extract more detailed features and has some advantages in the case of a small sample size. The images obtained by applying the image style transfer based on the proposed model are improved in both qualitative and quantitative analyses, which verifies the effectiveness of the proposed model.     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

新的基于GAN的局部写实感漫画图像风格迁移

利用生成对抗网络对图像进行风格迁移,将真实世界的图像直接转换为高品质动漫风格,是当今计算机视觉的研究热点之一。针对目前流行的AnimeGAN和CartoonGAN漫画生成对抗网络在图像迁移中存在细节丢失严重、色彩失真等问题。通过引入SE-Residual Block（挤压激励残差块）、漫画脸部检测机制并优化损失函数提出全新的ExpressionGAN解决了AnimeGAN迁移图像细节丢失严重的问题。通过加入DSConv（分布偏移卷积）提出SceneryGAN 加快了训练速度并消除了CartoonGAN迁移图像中的歧义像素块。通过卷积优化了图像的融合边界。同时,提出了一种新的对原始图像人物和环境分别处理并融合的局部写实主义漫画模型。实验结果表明,与AnimeGAN和CartoonGAN相比,该方法在训练速度、漫画图像生成质量和图像局部写实感方面都有了明显的提升。     

基于注意力机制的CycleGAN服装局部风格迁移研究

针对复杂背景下服装图像局部区域风格迁移难以控制及迁移后容易产生边界伪影的问题,提出一种基于注意力机制的CycleGAN服装局部风格迁移方法。通过VGG16网络分别提取服装图像的内容特征与风格特征,将其输入基于注意力机制的CycleGAN生成器中,应用注意力机制在复杂背景下的各个服装区域分配概率分布信息,获得注意力分布更多的区域及相关度更高的区域,并采用改进的损失函数校正边界伪影,对该区域进行风格迁移得到所需的风格迁移服装图像。实验结果表明,与CNN、FCN、BeautyGAN图像局部风格迁移方法相比,该方法不仅可以突出服装图像局部风格迁移效果,而且增强了图像细节,有利于提高输出图像的真实性和艺术性。     

UIFGAN: An unsupervised continual-learning generative adversarial network for unified image fusion

In this paper, we propose a novel unsupervised continual-learning generative adversarial network for unified image fusion, termed as UIFGAN. In our model, for multiple image fusion tasks, a generative adversarial network for training a single model with memory in a continual-learning manner is proposed, rather than training an individual model for each fusion task or jointly training multiple tasks. We use elastic weight consolidation to avoid forgetting what has been learned from previous tasks when training multiple tasks sequentially. In each task, the generation of the fused image comes from the adversarial learning between a generator and a discriminator. Meanwhile, a max-gradient loss function is adopted for forcing the fused image to obtain richer texture details of the corresponding regions in two source images, which applies to most typical image fusion tasks. Extensive experiments on multi-exposure, multi-modal and multi-focus image fusion tasks demonstrate the advantages of our method over the state-of-the-art approaches.     

基于语义分割的图像风格迁移技术研究

随着民族服装文化的碰撞与融合,对图像风格迁移技术进行了研究,阐述了当前风格迁移的研究现状,将蒙古族服饰风格与汉族风格进行融合,继承和弘扬了民族文化。针对蒙古服饰元素多样、颜色差异大、花纹不规则性等特征而引起的风格提取难度大的问题,采用[K]均值与封闭式自然抠图算法相结合的方法进行图像分割,基于神经网络提取图像的风格和内容,利用图像重建技术合成结果图,实现蒙汉服饰图像风格迁移;针对输出图像伪影严重的问题,采取一种改进的图像风格迁移算法,将输入图像到输出图像的变换约束在色彩空间的局部仿射变换中,将这个约束表示成一个完全可微的参数项,有效抑制图像扭曲,针对真实照片风格迁移过程中存在的空间不一致问题,进行平滑处理确保风格处理后空间风格一致,该方法大大加快了运算速度。     

Difference representation learning using stacked restricted Boltzmann machines for change detection in SAR images

In this paper, we establish a deep neural network using stacked Restricted Boltzmann Machines (RBMs) to analyze the difference images and detect changes between multitemporal synthetic aperture radar (SAR) images. Given the two multitemporal images, a difference image which shows difference degrees between corresponding pixels is generated. Then, RBMs are stacked to form a deep hierarchical neural network to learn to analyze the difference image and recognize the changed pixels and unchanged pixels. The learning process includes unsupervised layer-wise feature learning and supervised fine-tuning of network parameters. Unsupervised learning aims to learn the representation of the difference image. Supervised fine-tuning aims to learn to classify the changed and unchanged pixels. The network can learn from datasets that have few labeled data. The labeled data can be selected from the results obtained by other methods because there is no prior information in image change detection. The system learns to detect the changes instead of recognizing the changes by fixed equations as in traditional change detection algorithms. We test the network with real synthetic aperture radar datasets and the labeled samples are extracted from the results obtained, respectively, by several methods, including a thresholding method, a level set method and two clustering methods. The results achieved by the trained network outperform that of other methods.