对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于无监督学习的图像风格迁移方法

近年来,深度学习作为机器学习领域的一个分支,已经展现出强大的能力,其中基于卷积神经网络的无监督学习更是逐渐流行,之前有很多关于图像到图像翻译的工作,但都需要成对输入图片数据,这无疑增加了训练数据集获取的难度。笔者旨在实现在缺少成对数据的情况下使用生成对抗网络GAN学习从源数据域Y到目标数据域Y以实现图像到图像的翻译和风格迁移,通过学习映射G:X→Y和一个相反的映射F:Y→X,使它们成对,同时加入一个循环一致性损失函数,以确保F(G(X))≈X(反之亦然),最终实现通过输入一张具有任意风格的源图片进入网络并生成指定风格的图像,实现风格迁移。在缺少成对训练数据的情况下,本文成功实现了horse2zebra数据集和vangogh2photo数据集的风格迁移。     

用于迁移学习的多尺度领域对抗网络

深度学习算法的有效性依赖于大量的带有标签的数据,迁移学习的目的是利用已知标签的数据集（源域）来对未知标签的数据集（目标域）进行分类,因此深度迁移学习的研究成为了热门。针对训练数据标签不足的问题,提出了一种基于多尺度特征融合的领域对抗网络（Multi-scale domain adversarial network, MSDAN）模型,该方法利用生成对抗网络以及多尺度特征融合的思想,得到了源域数据和目标域数据在高维特征空间中的特征表示,该特征表示提取到了源域数据和目标域数据的公共几何特征和公共语义特征。将源域数据的特征表示和源域标签输入到分类器中进行分类,最终在目标域数据集的测试上得到了较为先进的效果。     

一种生成对抗网络半监督遥感图像分类方法北大核心CSCD

遥感图像由于数据集小,有标签数据少,因此其分类精度往往不高。为了提高遥感图像的分类精度,结合生成对抗网络与VGGNet-16设计了一个针对遥感图像的半监督分类方法,并分别在NWPU-RESISC45数据集与UC-Merced数据集上进行了验证。实验结果表明,该方法不仅能生成大量质量较好的遥感图像,增广了遥感图像数据集,解决了原始数据集样本不足的问题,同时能充分利用这些数据达到提高分类精度的效果,缓解有监督分类需要用到大量有标签数据的问题。     

结合自集成和对抗学习的域自适应城市场景语义分割

针对城市场景标签获取的高额成本问题,文中提出结合自集成和对抗学习的域自适应城市场景语义分割方法.对于源域和目标域的较大域间差异问题,采用风格转换的方法将源域数据集合成具有目标域风格的新数据集,作为新的源域数据集,从而有效减少源域与目标域的域间差异.对于目标域的域内差异问题,引入自集成方法,构造教师网络,利用教师网络在目...     

结合超分辨率和域适应的遥感图像语义分割方法

基于卷积神经网络的图像语义分割方法依赖于有真实标签的监督学习,但不能很好地推广到来源不同的无标签数据集中,目前无监督域适应给出了解决无标签目标域数据和有标签源域数据特征分布不一致的思路.但是在遥感图像处理领域,当源域和目标域的空间分辨率不相同时,无监督域适应方法应用效果不佳.本文结合图像超分辨率设计了一个新的端到端语义分割深度网络——结合超分辨率和域适应的语义分割模型(Semantic Segmentation Model Combining Super Resolution and Domain Adaption,SSM-SRDA),它可以缩小低分辨率源域和高分辨率目标域遥感图像的空间分辨率差异和特征分布差异,并完成无监督超分辨率和域适应语义分割任务.SSM-SRDA模型包括三个部分:结合超分辨率的语义分割网络,将低分辨率的源域图像通过超分辨率模块生成带有目标域风格的高分辨率图像,缩小空间分辨率差异的同时帮助特征提取网络学习域不变特征,并通过特征相似性FA-Loss模块增强语义分割深层网络高分辨率特征的细节结构信息;像素级域判别器,用来缩小超分辨后源域和目标域间的像素级特征差异;输出...     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法

相较于同源遥感影像地表覆被变化检测,异源影像能综合不同卫星传感器间数据特征和现势性等优势,更好满足应用需求。针对异源遥感影像变化检测中存在的光谱差异和特征空间不一致问题,研究提出编码对齐生成对抗网络实现异源影像的高精度变化检测。考虑到异源影像间通道和数据类型上存在差异,难保持重构前后影像空间结构的一致性,研究通过添加自编码器和构造编码对齐损失,约束编码器输出特征的空间结构变化,使重构前后影像空间结构一致,有效减少信息丢失;在跨域映射过程中为减少源域与目标域间影像的色彩差异,采用循环一致对抗生成网络在无成对影像情况下进行色彩迁移,实现两时相异源影像的相互跨域映射,生成能与原始影像直接对比的无色偏重构影像;利用设计的变化概率权重使网络在训练过程中自动选择样本,有效提取覆被变化信息。实验结果表明：该方法与CGAN、SCCN等方法相比能更充分提取影像特征,降低跨域映射函数的随机性;在4组公开数据集的检测精度分别达到0.93、0.96、0.97、0.88,精度最高;变化检测结果与参考图的一致性、检测差异图质量均最优。因此,该方法在异源遥感影像中能够进行高精度变化检测。     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

基于图像风格迁移的人脸识别域适应方法

监控场景下的带标签人脸数据难以获取,尽管可以利用已有的公开数据集或合成数据,但这些数据与真实的监控人脸数据在图像风格上存在较大的域间差异。针对该问题,不同于基于特征或公共子空间的域适应方法,提出一种基于图像风格迁移的解决方法。具体地,基于CycleGAN网络改进得到Face-CycleGAN,在保持身份属性的前提下,对现有带标签数据进行风格迁移,使其在背景、光照、皮肤材质等方面与监控场景更接近,并进一步通过联合滤波对迁移图像进行后处理。最后,利用迁移得到的数据优化人脸识别算法,减小域间差异带来的负面影响。提出的方法在公开数据集EK-LFH和自建数据集3DProj-Sur上进行了实验评估,分别取得了21.93%和4.77%的识别率提升,证明了该方法在解决域适应问题上是有效的。     

选择性传输与铰链对抗的多图像域人脸属性迁移

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

基于AT-PGGAN的增强数据车辆型号精细识别

目的 车型识别在智能交通、智慧安防、自动驾驶等领域具有十分重要的应用前景。而车型识别中，带标签车型数据的数量是影响车型识别的重要因素。本文以"增强数据"为核心，结合PGGAN（progressive growing of GANs）和Attention机制，提出一种基于对抗网络生成数据再分类的网络模型AT-PGGAN（attention-progressive growing of GANs），采用模型生成带标签车型图像的数量，从而提高车型识别准确率。方法 该模型由生成网络和分类网络组成，利用生成网络对训练数据进行增强扩充，利用注意力机制和标签重嵌入方法对生成网络进行优化使其生成图像细节更加完善，提出标签重标定的方法重新确定生成图像的标签数据，并对生成图像进行相应的筛选。使用扩充的图像加上原有数据集的图像作为输入训练分类网络。结果 本文模型能够很好地扩充已有的车辆图像，在公开数据集StanfordCars上，其识别准确率相比未使用AT-PGGAN模型进行数据扩充的分类网络均有1%以上的提升，在CompCars上与其他网络进行对比，本文方法在同等条件下最高准确率达到96.6%，高于对比方法。实验结果表明该方法能有效提高车辆精细识别的准确率。结论 将生成对抗网络用于对数据的扩充增强，生成图像能够很好地模拟原图像数据，对原图像数据具有正则的作用，图像数据可以使图像的细粒度识别准确率获得一定的提升，具有较大的应用前景。     

跨域变分对抗自编码器

现有跨域图像生成算法通常要求用户提供成对数据,且生成能力有限,往往仅支持一对一的跨域图像生成.针对以上问题,提出了一种跨域变分对抗自编码器框架,在不提供任何成对数据的前提下,实现了跨域图像的一对多连续变换.假定来自不同域的图像共享相同的内容属性,且拥有独立的风格属性,则跨域图像一对多连续变换问题可转换为图像内容属性和风格属性的解耦、编码、拟合和跨域拼接.首先利用编码器解耦建立跨域数据的内容编码和风格编码;然后利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码;最后通过拼接单域图像的内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换.在标准数据集MNIST和SVHN上进行的有监督跨域图像生成结果同时满足真实性和多样性,且在分类准确率和域自适应性的定量评价中优于其他跨域图像生成算法;在人脸数据集NIR-VIS和草图数据集Edges-Shoes上实现了无监督跨域图像一对一生成,其可视化结果充分说明了生成图像的特征分布和源特征分布的一致性.以上实验全面验证了变分对抗自编码器框架的可行性和有效性.     

基于自相似与对比学习的图像跨域转换算法

图像跨域转换,又称图像翻译,是一种旨在将源域的图像转换为目标域的图像的技术,具体来说是使生成图像在保持源域图像的结构（轮廓、姿态等）的同时具有目标域图像的风格（纹理、颜色等）.图像跨域转换技术在视觉领域有着广泛的应用,如照片编辑和视频特效制作.近年来,该技术在深度学习尤其是生成对抗网络的基础上得到了飞速发展,也取得了令人印象深刻的结果,但是迁移后的生成图像仍然存在颜色模式坍塌、内容结构无法保持等问题,针对这些问题,提出了一种基于自相似性与对比学习的图像跨域转换算法.该算法利用预先训练的深度神经网络模型提取图像的内容特征和风格特征,将感知损失和基于自相似性的损失作为图像内容损失函数,同时使用一种宽松的最优传输损失和基于矩匹配计算的损失作为图像风格损失函数对提出的神经网络进行训练,并通过将生成图像和目标域图像标记为正样本对,将生成图像和源域标记为负样本进行对比学习.在4个数据集上对提出的算法进行了实验验证,结果表明提出的算法在生成的结果图像上较好地保持了源域图像的内容结构,同时减少颜色的模式坍塌,且使生成的图像风格与引导图像的风格更加一致.     

基于CLIP和双空间自适应归一化的图像翻译

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×10²,实现了较好的图像翻译性能。     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

聚类中心对齐的无监督域适应网络

深度学习在图像分类上的准确度很大程度上依赖于大量的标记数据,无监督域适应已经被证明是一种有效的方法去解决一个新的无标签域上的任务,其主要思想是利用有标签的数据集作为源域,通过减少源域和目标域之间的差异,将源域训练的预测模型应用于目标域.本文提出了聚类中心对齐的无监督域适应方法CADA,将语义对齐方法与传统对抗域适应相结...     

生成对抗网络与文本图像生成方法综述

随着多传感器的普及，多模态数据获得科研和产业面的持续关注，通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一，由于生成对抗网络（GAN）生成图像更具有真实感，使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN，并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较，厘清脉络；分析了现有的评估指标以及常用的数据集，阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势；系统性地补充了生成对抗网络在文本图像生成方面的分析，将有助于研究者进一步推进这一领域。