基于生成对抗网络的图文检索算法

随着互联网上的图片和文本信息呈爆炸式增长,最小化图像和文本两种模态之间的语义鸿沟成为检索系统设计的关键问题。针对图文检索系统的关联性建模需求,研究基于生成对抗网络的图文交叉检索算法,通过博弈对抗方法训练网络模型,对图像和文本两种模态间的语义特征进行关联,将样本特征表示到公共子空间实现了图像和文本的对抗性交叉检索。在INRIA-Websearch、Nuswide-10k和Wiki数据集上实现了图文交叉检索算法,取得了较高的检索效率和准确度。     

基于特征加权聚合的图像检索目标对抗攻击方法

基于深度学习的图像检索技术使得图像隐私泄露成为一个亟待解决的问题.利用对抗攻击生成的对抗样本,可在一定程度上实现隐私保护.但现有针对图像检索系统的目标对抗攻击方法易受选取目标样本质量和数量的影响,导致其攻击效果不佳.针对该问题,提出了一种基于特征加权聚合的图像检索目标对抗攻击方法,该方法将目标图像的检索准确率作为衡量样本质量的权重,利用目标类中少量样本的特征进行加权聚合获取类特征作为最终攻击目标.在RParis和ROxford两个数据集上的实验结果表明,该方法生成的对抗样本相比TMA方法,检索精度平均提升38％,相比DHTA方法,检索精度平均提升7.5％.     

融合全模态自编码器和生成对抗机制的跨模态检索

针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8％,1.4％和1.1％,证明了所提方法的有效性.     

基于GAN和中文词汇网的文本摘要技术

随着神经网络技术的广泛应用,文本摘要技术吸引了越来越多科研人员的注意。由于生成式对抗网络(GANs)具有提取文本特征或学习整个样本的分布并以此产生相关样本点的能力,因此正逐步取代传统基于序列到序列(Seq2seq)的模型,被用于提取文本摘要。利用生成式对抗网络的特点,将其用于生成式的文本摘要任务。提出的生成式对抗模型由3部分组成：一个生成器,将输入的句子编码为更短的文本表示向量;一个可读性判别器,强制生成器生成高可读性的文本摘要;以及一个相似性判别器,作用于生成器,抑制其输出的文本摘要与输入的摘要之间的不相关性。此外,在相似性判别器中,引用中文的WordNet作为外部知识库来增强判别器的作用。生成器使用策略梯度算法进行优化,将问题转化为强化学习。实验结果表明,所提模型得到了较高的ROUGE评测分数。     

一种强真实感的图像生成算法设计与仿真

传统方法下生成的跨模态图像易造成目标部分重要信息缺失,生成的图像缺乏真实感,于是提出改进生成式对抗网络和半监督学习的跨模态图像生成方法.建立生成式对抗网络,分析半监督学习特征,经融合后组成半监督生成式对抗网络.在判别器中使用卷积神经网络、在生成器中引入反卷积神经网络,在半监督生成式对抗网络中添加分类器,改进所建的网络模...     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

面向跨模态检索的协同注意力网络模型

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联。为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量。CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度。在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769。实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度。     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

基于改进TransGAN的零样本图像识别方法

零样本学习算法旨在解决样本极少甚至缺失情况下的图像识别问题。生成式模型通过生成缺失类别的图像,将此问题转化为传统的基于监督学习的图像识别,但生成图像的质量不稳定、容易出现模式崩塌,影响图像识别准确性。为此,通过对TransGAN模型进行改进,提出基于改进TransGAN的零样本图像识别方法。将TransGAN的生成器连接卷积层进行降维,并进一步提取图像特征,使生成图像特征和真实图像特征更加接近,提高特征的稳定性;同时,对判别器加入非线性激活函数,并进行结构简化,使判别器更好地指导生成器,并减小计算量。在公共数据集上的实验结果表明,所提方法的图像识别准确率较基线模型提高了29.02%,且具有较好的泛化性能。