对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

基于熵增强的无监督域适应遥感图像语义分割

为了实现利用有标注源数据获得在无标注目标数据上可用的遥感图像语义分割模型,提出了一种基于熵增强的域适应端到端语义分割方法.首先,为了充分利用遥感图像多尺度信息并且减少域之间传感器分辨率带来的域偏移,采用空洞空间金字塔池化模块作为分类器;其次,为了使无标注的目标域类别正确对应,使用了两个分类器进行协同训练;将像素点预测值的信息熵当做分类置信度的度量,将其作为对抗损失的权重,从而使训练能专注于难分类的像素,降低域偏移.在ISPRS(WGII/4)2D数据集上进行实验,所提方法相对于直接使用分割模型和使用传统对抗方法,mIoU分别提高了18％和12％.实验结果表明,所提方法在遥感图像域适应语义分割表现上优于直接使用分割模型或使用传统对抗域适应分割方法.     

深度学习图像合成研究综述

图像合成一直是图像处理领域的研究热点，具有广泛的应用前景。从原图中精确提取出前景目标对象并将其与新背景合成，构造尽量接近真实的图像是图像合成的基本目标。为推动基于深度学习的图像合成技术研究与发展，本文论述了当前图像合成任务中面临的主要问题： 1）前景对象适应性问题，包括前景对象相对于背景图像的大小、位置、几何角度等几何一致性问题，以及前后景互相遮挡、前景对象边缘细节模糊的外观一致性问题； 2）视觉和谐问题，包括前后景色彩、对比度、饱和度等不统一的色调一致性问题，及前景对象丢失对应阴影的阴影缺失问题； 3）生境适应性问题，表现为前景对象与背景图像的逻辑合理性。总结了目前为解决不同问题主要使用的深度学习方法，同时对不同问题中的合成图像结果进行质量评估，总结了相应的评价指标，并介绍了为解决不同问题所使用的公开数据集，同时进行了深度学习方法的对比，描述了图像合成技术的主要应用场景，最后分析了基于深度学习的图像合成技术中仍然存在的不足，同时提出可行的研究意见，并对未来图像合成技术发展方向提出展望。     

联合多重对抗与通道注意力的高安全性图像隐写

目的 现有基于对抗图像的隐写算法大多只能针对一种隐写分析器设计对抗图像,且无法抵御隐写分析残差网络(steganalysis residual network,SRNet)、Zhu-Net等最新基于卷积神经网络隐写分析器的检测。针对这一现状,提出了一种联合多重对抗与通道注意力的高安全性图像隐写方法。方法 采用基于U-Net结构的生成对抗网络生成对抗样本图像,利用对抗网络的自学习特性实现多重对抗隐写网络参数迭代优化,并通过针对多种隐写分析算法的对抗训练,生成更适合内容隐写的载体图像。同时,通过在生成器中添加多个轻量级通道注意力模块,自适应调整对抗噪声在原始图像中的分布,提高生成对抗图像的抗隐写分析能力。其次,设计基于多重判别损失和均方误差损失相结合的动态加权组合方案,进一步增强对抗图像质量,并保障网络快速稳定收敛。结果 实验在BOSS Base 1.01数据集上与当前主流的4种方法进行比较,在使用原始隐写图像训练后,相比于基于U-Net结构的生成式多重对抗隐写算法等其他4种方法,使得当前性能优异的5种隐写分析器平均判别准确率降低了1.6%;在使用对抗图像和增强隐写图像再训练后,相比其他4种方法,仍使得当前性能优异的5种隐写分析器平均判别准确率降低了6.8%。同时也对对抗图像质量进行分析,基于测试集生成的2 000幅对抗图像的平均峰值信噪比(peak signal-tonoise ratio,PSNR)可达到39.925 1 dB,实验结果表明本文提出的隐写网络极大提升了隐写算法的安全性。结论 本文方法在隐写算法安全性领域取得了较优秀的性能,且生成的对抗图像具有很高的视觉质量。     

融合自注意力机制和相对鉴别的无监督图像翻译

无监督图像翻译使用非配对训练数据能够完成图像中对象变换、季节转移、卫星与路网图相互转换等多种图像翻译任务.针对基于生成对抗网络(Generative adversarial network, GAN)的无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题, 本文基于对偶学习提出一种融合自注意力机制和相对鉴别的无监督图像翻译方法.首先, 生成器引入自注意力机制加强图像生成过程中像素间远近距离的关联关系, 在低、高卷积层间增加跳跃连接, 降低无关图像域特征信息损失.其次, 判别器使用谱规范化防止因鉴别能力突变造成的梯度消失, 增强训练过程中整体模型的稳定性.最后, 在损失函数中基于循环重构增加自我重构一致性约束条件, 专注目标域的转变, 设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈, 完成无监督的图像翻译.在Horse & Zebra、Summer & Winter以及AerialPhoto & Map数据集上的实验结果表明:相较于现有GAN的图像翻译方法, 本文能够建立更真实的图像域映射关系, 提高了生成图像的翻译质量.     

基于对抗学习的医学图像分割领域自适应研究

为了解决跨领域医学图像分析中不匹配的问题,提出了一种基于对抗学习的无监督领域自适应框架（UAL-DAF）。具体而言,该框架通过外观转移模块（ATM）和结合条件生成对抗网络的语义转移模块（STM）分别缩小了跨领域医学图像外观和语义层次的差异。最后,在具有挑战性的医学图像分割实验中,结果显著优于已有方法。因此,该框架能够提取领域自适应知识的外观和语义层次信息,实现领域知识的协同融合。     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像生成中的研究进展做一个小结和分析:本文首先从模型的架构、目标函数的设计、生成对抗网络在训练中存在的问题、以及如何处理模式崩溃问题等角度对生成对抗网络进行一个详细地总结和归纳;其次介绍生成对抗网络在图像生成中的两种方法;随后对一些典型的、用来评估生成图像质量和多样性的方法进行小结,并且对基于图像生成的应用进行详细分析;最后对生成对抗网络和图像生成进行总结,同时对其发展趋势进行一个展望.     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

DiCyc: GAN-based deformation invariant cross-domain information fusion for medical image synthesis

Cycle-consistent generative adversarial network (CycleGAN) has been widely used for cross-domain medical image synthesis tasks particularly due to its ability to deal with unpaired data. However, most CycleGAN-based synthesis methods cannot achieve good alignment between the synthesized images and data from the source domain, even with additional image alignment losses. This is because the CycleGAN generator network can encode the relative deformations and noises associated to different domains. This can be detrimental for the downstream applications that rely on the synthesized images, such as generating pseudo-CT for PET-MR attenuation correction. In this paper, we present a deformation invariant cycle-consistency model that can filter out these domain-specific deformation. The deformation is globally parameterized by thin-plate-spline (TPS), and locally learned by modified deformable convolutional layers. Robustness to domain-specific deformations has been evaluated through experiments on multi-sequence brain MR data and multi-modality abdominal CT and MR data. Experiment results demonstrated that our method can achieve better alignment between the source and target data while maintaining superior image quality of signal compared to several state-of-the-art CycleGAN-based methods.     

Unified gradient- and intensity-discriminator generative adversarial network for image fusion

This study proposes a unified gradient- and intensity-discriminator generative adversarial network for various image fusion tasks, including infrared and visible image fusion, medical image fusion, multi-focus image fusion, and multi-exposure image fusion. On the one hand, we unify all fusion tasks into discriminating a fused image’s gradient and intensity distributions based on a generative adversarial network. The generator adopts a dual-encoder–single-decoder framework to extract source image features by using different encoder paths. A dual-discriminator is employed to distinguish the gradient and intensity, ensuring that the generated image contains the desired geometric structure and conspicuous information. The dual adversarial game can tackle the generative adversarial network’s mode collapse problem. On the other hand, we define a loss function based on the gradient and intensity that can be adapted to various fusion tasks by using varying relevant parameters with the source images. Qualitative and quantitative experiments on publicly available datasets demonstrate our method’s superiority over state-of-the-art methods.     

Defense against adversarial attacks by low-level image transformations

Deep neural networks (DNNs) are vulnerable to adversarial examples, which can fool classifiers by maliciously adding imperceptible perturbations to the original input. Currently, a large number of research on defending adversarial examples pay little attention to the real-world applications, either with high computational complexity or poor defensive effects. Motivated by this observation, we develop an efficient preprocessing module to defend adversarial attacks. Specifically, before an adversarial example is fed into the model, we perform two low-level image transformations, WebP compression and flip operation, on the picture. Then we can get a de-perturbed sample that can be correctly classified by DNNs. WebP compression is utilized to remove the small adversarial noises. Due to the introduction of loop filtering, there will be no square effect like JPEG compression, so the visual quality of the denoised image is higher. And flip operation, which flips the image once along one side of the image, destroys the specific structure of adversarial perturbations. By taking class activation mapping to localize the discriminative image regions, we show that flipping image may mitigate adversarial effects. Extensive experiments demonstrate that the proposed scheme outperforms the state-of-the-art defense methods. It can effectively defend adversarial attacks while ensuring only slight accuracy drops on normal images.     

A Gaussian-guided adversarial adaptation transfer network for rolling bearing fault diagnosis

Most current unsupervised domain networks try to alleviate domain shifts by only considering the difference between source domain and target domain caused by the classifier, without considering task-specific decision boundaries between categories. In addition, these networks aim to completely align data distributions, which is difficult because each domain has its characteristics. In light of these issues, we develop a Gaussian-guided adversarial adaptation transfer network (GAATN) for bearing fault diagnosis. Specifically, GAATN introduces a Gaussian-guided distribution alignment strategy to make the data distribution of two domains close to the Gaussian distribution to reduce data distribution discrepancies. Furthermore, GAATN adopts a novel adversarial training mechanism for domain adaptation, which designs two task-specific classifiers to identify target data to consider the relationship between target data and category boundaries. Massive experimental results prove that the superiority and robustness of the proposed method outperform existing popular methods.     

带有双判别器的对抗性领域适应图像分类算法

生成对抗网络的出现将对抗学习的思想引入了机器学习的不同知识体系,带来了全新的发展。对抗性的领域适应算法利用一个共享特征提取器提取域不变表征,一个判别器进行辨别,双方通过对抗性的迭代更新方式达到最优解。在数据来源上,生成对抗网络和领域适应都有极其类似的2个域。在目标函数上,两者都试图追寻一致性。从理论和逻辑结构出发分析两者的内在相似性,尝试利用已成熟的生成对抗网络体系从更深层次进一步提升领域适应性能。通过类比,提出使用2个判别器解决已有对抗性领域适应算法中存在的“模式崩溃”问题,并使用伪标签进行结构上的完善。最后,在标准领域适应任务上的实验表明了本文算法的可行性和有效性。     

多通道CartoonGAN下的图像风格动漫化

为解决真实图像转换为动漫风格图像出现的参数量大、图像纹理和颜色损失的问题,提出了一种多通道卡通生成对抗网络(MC_CartoonGAN).首先,使用HSCNN+(advanced CNNs for the hyperspectral reconstruction task)和遗传算法重新构建多通道图像数据集,丰富图像信息.其次,利用DenseNet网络进行特征复用减少参数的内存占用率及缓解梯度消失的问题.最后,引入多通道颜色重建损失函数,在保证了生成图像内容完整的情况下,降低了生成图像的颜色损失.实验结果表明,提出的多通道卡通生成对抗网络将真实图像转换成动漫风格图像的质量更优.     

改进鱼眼变换技术的图像适应

目的 为解决目前基于鱼眼变换技术的图像适应方法难以解决的焦点检测和多焦点冲突两大问题,提出一种基于改进鱼眼变换技术的图像适应方法。方法 提出的方法根据源图像的能量计算出图像中所有最优高能量线并组成高能量线集合,作为源图像的高能量部分,即图像的焦点区域;以能量线而不是传统的图像区域为单位进行鱼眼变换以得到目标图像。结果 改变鱼眼变换技术的变换模式并应用于图像适应中,实验结果表明,本文方法解决了基于鱼眼变换技术的图像适应方法存在的问题,通过本文算法所得到的目标图像具有较好的视觉效果,用户满意度接近4分。算法运行速度较快,将源图像(512×384)长度缩小一半的情况下仅需6 s的运算时间。结论 本文方法一方面保留了鱼眼变换图像适应方法的优势,在突出显示图像重要部分的同时,不会忽略图像的次要部分;另一方面解决了鱼眼变换图像适应方法存在的焦点检测和多焦点冲突问题。实现效果和用户主观评价结果表明,该方法是一种有效可行的图像适应方法。     

面向个人信息保护的对抗性图像扰动算法研究

通过研究对抗性图像扰动算法,应对深度神经网络对图像中个人信息的挖掘和发现以保护个人信息安全.将对抗样本生成问题转换为一个含有限制条件的多目标优化问题,考虑神经网络的分类置信度、扰动像素的位置以及色差等目标,利用差分进化算法迭代得到对抗样本.在MNIST和CIFAR-10数据集上,基于深度神经网络LeNet和ResNet进行了对抗样本生成实验,并从对抗成功率、扰动像素数目、优化效果和对抗样本的空间特征等方面进行了对比和分析.结果表明,算法在扰动像素极少的情况下(扰动均值为5)依然可以保证对深度神经网络的有效对抗,并显著优化了扰动像素的位置及色差,达到不破坏原图像的情况下保护个人信息的目的.该研究有助于促进信息技术红利共享与个人信息安全保障之间的平衡,也为对抗样本生成及深度神经网络中分类空间特征的研究提供了技术支撑.     

基于多对多生成对抗网络的非对称跨域迁移行人再识别

无监督跨域迁移学习是行人再识别中一个非常重要的任务. 给定一个有标注的源域和一个没有标注的目标域, 无监督跨域迁移的关键点在于尽可能地把源域的知识迁移到目标域. 然而, 目前的跨域迁移方法忽略了域内各视角分布的差异性, 导致迁移效果不好. 针对这个缺陷, 本文提出了一个基于多视角的非对称跨域迁移学习的新问题. 为了实现这种非对称跨域迁移, 提出了一种基于多对多生成对抗网络(Many-to-many generative adversarial network, M2M-GAN)的迁移方法. 该方法嵌入了指定的源域视角标记和目标域视角标记作为引导信息, 并增加了视角分类器用于鉴别不同的视角分布, 从而使模型能自动针对不同的源域视角和目标域视角组合采取不同的迁移方式. 在行人再识别基准数据集Market1501、DukeMTMC-reID和MSMT17上, 实验验证了本文的方法能有效提升迁移效果, 达到更高的无监督跨域行人再识别准确率.     

基于特征加权聚合的图像检索目标对抗攻击方法

基于深度学习的图像检索技术使得图像隐私泄露成为一个亟待解决的问题.利用对抗攻击生成的对抗样本,可在一定程度上实现隐私保护.但现有针对图像检索系统的目标对抗攻击方法易受选取目标样本质量和数量的影响,导致其攻击效果不佳.针对该问题,提出了一种基于特征加权聚合的图像检索目标对抗攻击方法,该方法将目标图像的检索准确率作为衡量样本质量的权重,利用目标类中少量样本的特征进行加权聚合获取类特征作为最终攻击目标.在RParis和ROxford两个数据集上的实验结果表明,该方法生成的对抗样本相比TMA方法,检索精度平均提升38％,相比DHTA方法,检索精度平均提升7.5％.