AIGC视觉内容生成与溯源研究进展

随着数字媒体与创意产业的快速发展,人工智能生成内容（artificial intelligence generated content,AIGC）技术以其在视觉内容生成中的创新应用而逐渐受到关注。本文旨在围绕 AIGC 视觉内容生成与溯源研究进展深入研讨。首先,针对图像生成技术进行探讨,从基于生成式对抗网络的传统方法出发,系统地分析了基于生成式对抗网络、自回归模型和扩散概率模型的最新进展。接着,深入探讨可控图像生成技术,突出了通过布局、线稿等附加信息以及基于视觉参考的方法来为创作者提供精确控制的技术现状。随着图像生成技术的革新和应用,生成图像的安全性问题逐渐浮现。而预先审核和过滤的技术手段已难以满足实际需求,故亟需实现生成内容的溯源来进行监管。因此,本文进而对生成图像溯源技术进行研讨,并聚焦水印技术在确保生成内容可靠性和安全性方面的应用。依据水印嵌入的流程节点,首先将现有的水印相关的生成图像溯源方法归为无水印嵌入的生成图像溯源、水印前置嵌入的生成图像溯源、水印后置嵌入的生成图像溯源以及联合生成的生成图像溯源并进行详细分析,然后介绍针对生成图像的水印攻击研究现状,最后对生成图像溯源技术进行总结和展望。鉴于视觉内容生成在质量和安全上的挑战,旨在为研究者提供一个视觉内容生成与溯源的系统研究视角,以促进数字媒体创作环境的安全与可信,并引导未来相关技术的发展方向。     

生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。     

加入目标指导的强化对抗文本生成方法研究

针对有监督的深度神经网络文本生成模型容易造成错误累积的问题,提出一种基于强化对抗思想训练的文本生成模型。通过将生成对抗网络鉴别器作为强化学习的奖励函数及时指导生成模型优化,尽量避免错误累积;通过在生成过程中加入目标指导特征帮助生成模型获取更多文本结构知识,提升文本生成模型真实性。在合成数据和真实数据集上的实验结果表明,该方法在文本生成任务中,较之前的文本生成模型在准确率和真实性上有了进一步的提高,验证了加入目标指导的强化对抗文本生成方法的有效性。     

虚假数字人脸内容生成与检测技术

近年来,以深度学习算法为代表的人工智能技术在安防视频监控、个人隐私保护、自动驾驶等领域广泛应用.尤其在人脸识别等领域,深度学习方法显示出超越人类感知及辨别的能力,为人类的日常生活带来了诸多便利.然而,利用人工智能生成、对抗、伪造等技术产生的虚假数字人脸给个人隐私安全、社会安全乃至国家安全等方面带来了诸多风险和挑战.本文通过回顾虚假数字人脸内容生成与检测的相关研究工作,揭示其对国民、国家安全造成的潜在威胁.具体来说,本文首先介绍虚假数字人脸内容的攻击对象及攻击类型,从两种攻击对象—人工智能系统及人类感知系统,两大攻击类型—人脸对抗样本及人脸深度篡改,归纳、分析相应的生成、攻击及检测、防御技术.最后,本文讨论和展望虚假数字人脸内容生成与检测技术未来的研究方向和发展趋势.     

生成对抗网络及其应用研究综述

生成对抗网络的理论研究与应用不断获得成功,已经成为当前深度学习领域研究的热点之一。对生成对抗网络理论及其应用从模型的类型、评价标准和理论研究进展等方面进行系统的综述：分别分析基于显式密度和基于隐式密度的生成模型的优缺点;总结生成对抗网络的评价标准,解读各标准之间的关系,并从应用层面介绍生成对抗网络在图像及其他领域中的研究进展,即通过图像转换、图像生成、图像修复、视频生成、文本生成及图像超分辨率等的应用;从模型的结构表示、训练控制、性能稳定以及评价标准等角度分析生成对抗网络的理论研究进展。研究讨论生成对抗网络的挑战,展望未来可能存在的发展方向。     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

基于自注意力机制的文本生成单目标图像方法

基于自然语言描述的图像合成已成为人工智能领域中的研究热点.借助生成对抗网络,该领域在高分辨率图像合成方面取得了长足的发展.然而,合成单目标图像在真实性上仍存在一定缺陷,如针对鸟类图形合成时,会出现"多头""多嘴"等异常情况.针对此类问题,提出基于自注意力机制的文本生成单目标模型SA-AttnGAN.SA-AttnGAN...     

一种大数据环境下的在线社交媒体位置推断方法

随着在线社交媒体的快速发展和可定位设备的大量普及,地理位置作为社交媒体大数据中一种质量极高的信息资源,开始在疾病控制、人口流动性分析和广告精准投放等方面得到广泛应用.但是,由于大量用户没有指定或者不能准确指定位置,社交媒体上的地理位置数据十分稀疏.针对此数据稀疏性问题,提出一种基于用户生成内容的位置推断方法UGC-LI(user generate content driven location inference method),实现对社交媒体用户和生成文本位置的推断,为基于位置的个性化信息服务提供数据支撑.通过抽取用户生成文本中的本地词语,构建一个基于词汇地理分布差异和用户社交图谱的概率模型,在多层次的地理范围内推断用户位置.同时,提出一个基于位置的参数化语言模型,计算用户生成文本发出的城市.在真实数据集上进行的评估实验表明:UGC-LI方法能够在15km偏移距离准确定位64.2%的用户,对用户所在城市的推断准确率达到81.3%;同时,可正确定位32.7%的用户生成文本发出的城市,与现有方法相比有明显的提高.     

自动驾驶安全关键场景生成技术综述

安全关键场景生成是自动驾驶的重要方向,在自动驾驶测试、汽车安全性评估和汽车安全标准构建等领域都有着很高的应用价值,是关系自动驾驶应用落地的关键。现有研究缺乏重点围绕安全关键场景生成技术的综述,因此本文对安全关键场景生成技术进行了系统性综述。首先,分析了安全关键场景生成技术的综述相关研究;其次,对安全关键场景生成模型进行了对比分析;再次,分类总结了基于聚类、贝叶斯网络和对抗网络的安全关键场景生成方法的进展;最后,对安全关键场景生成方法研究趋势进行了展望。     

基于计算机视觉技术的数字媒体内容生成与创作研究

计算机视觉技术是人工智能技术的重要分支,重在研究如何利用计算机图形处理技术实现代替人眼功能的目标识别、跟踪与测量。数字媒体艺术设计以图像或影像为主要媒介,与计算机视觉技术具有极高的适配性。计算机视觉技术在数字媒体内容生成与创作中的应用,能够提升数字媒体设计的智能化水平,促进设计质量提升。本研究以计算机视觉技术中的生成对抗网络算法为例,分析了将其应用于数字媒体内容生成与创作的方法,通过实验测试验证了方法的有效性和优越性,以期促进计算机视觉技术在数字媒体内容生成与创作技术中的应用。     

文本对抗攻防技术在电信网络诈骗防控领域的应用探析

随着自然语言处理模型近期在人工智能领域的“出圈”,核心模型涉及的对抗攻防技术的发展,逐渐成为一把“双刃剑”,电信网络诈骗与防控领域双方的博弈对抗成为研究热点问题。通过对不同诈骗类型进行分析,结合电信网络诈骗全链条与现有防控模型的问题,深入挖掘反诈平台核心技术,设计了针对反诈检测模型的模拟文本对抗攻击,探析文本对抗攻防技术在电信网络诈骗防控领域的应用,并且讨论其面临的挑战与前景。     

基于Transformer交叉注意力的文本生成图像技术

近年来,以生成对抗网络为基础的从文本生成图像方法的研究取得了一定的进展.文本生成图像技术的关键在于构建文本信息和视觉信息间的桥梁,促进网络模型生成与对应文本描述一致的逼真图像.目前,主流的方法是通过预训练文本编码器来完成对输入文本描述的编码,但这些方法在文本编码器中未考虑与对应图像的语义对齐问题,独立对输入文本进行编码...     

加入奖励的GRU对抗网络文本生成模型

针对目前生成对抗网络文本生成模型采用有监督形式造成的错误累计以及生成文本信息单一等问题,提出一种基于GRU生成对抗网络的文本生成模型,GRU生成器采用策略梯度进行参数更新,且该模型增加蒙特卡洛搜索推导生成样本序列。采用参数较少的GRU神经网络作为生成器和判别器,判别器的输出loss函数指导生成过程中的参数优化,以蒙特卡洛策略思想补充生成过程中的非完整序列,减少错误累计并增加文本生成信息的丰富性。引入门截断机制,用自定义函数替换GRU网络中的sigmoid函数,改进当前时刻的隐含变量的激活函数,改善原函数收敛速度较慢且容易产生梯度消失问题,使之更适应本文模型。仿真实验结果表明本文模型丰富了文本生成的多样性,提高了模型的收敛速度,验证了本模型的有效性。该模型有较好的应用性。     

生成对抗网络与文本图像生成方法综述

随着多传感器的普及，多模态数据获得科研和产业面的持续关注，通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一，由于生成对抗网络（GAN）生成图像更具有真实感，使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN，并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较，厘清脉络；分析了现有的评估指标以及常用的数据集，阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势；系统性地补充了生成对抗网络在文本图像生成方面的分析，将有助于研究者进一步推进这一领域。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

多判别器协同框架:高品质图像的谱归一生成对抗网络

通过生成对抗网络的对抗学习生成仿真图像,已成为人工智能领域的一个研究热点.为了进一步提高生成图像的质量,本文提出了多判别器协同合作的网络框架——采用多个判别器为唯一生成器提供联合损失量,并通过不同的学习率保持各个判别器的差异性.同时,为了满足判别器的Lipschitz连续条件,本文所有的判别器网络一律进行谱归一化操作.实验表明,本文提出的基于多判别器合作框架的生成对抗网络表现较优.     

基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

面向规避僵尸网络流量检测的对抗样本生成

基于机器学习的僵尸网络流量检测是现阶段网络安全领域比较热门的研究方向,然而生成对抗网络(generative adversarial networks,GAN)的出现使得机器学习面临巨大的挑战.针对这个问题,在未知僵尸网络流量检测器模型结构和参数的假设条件下,基于生成对抗网络提出了一种新的用于黑盒攻击的对抗样本生成方法...     

生成对抗网络在各领域应用研究进展

随着深度学习的快速发展, 生成式模型领域也取得了显著进展. 生成对抗网络(Generative adversarial network, GAN)是一种无监督的学习方法, 它是根据博弈论中的二人零和博弈理论提出的. GAN具有一个生成器网络和一个判别器网络, 并通过对抗学习进行训练. 近年来, GAN成为一个炙手可热的研究方向. GAN不仅在图像领域取得了不错的成绩, 还在自然语言处理(Natural language processing, NLP)以及其他领域崭露头角. 本文对GAN的基本原理、训练过程和传统GAN存在的问题进行了阐述, 进一步详细介绍了通过损失函数的修改、网络结构的变化以及两者结合的手段提出的GAN变种模型的原理结构, 其中包括: 条件生成对抗网络(Conditional GAN, CGAN)、基于Wasserstein 距离的生成对抗网络(Wasserstein-GAN, WGAN)及其基于梯度策略的WGAN (WGAN-gradient penalty, WGAN-GP)、基于互信息理论的生成对抗网络(Informational-GAN, InfoGAN)、序列生成对抗网络(Sequence GAN, SeqGAN)、Pix2Pix、循环一致生成对抗网络(Cycle-consistent GAN, Cycle GAN)及其增强Cycle-GAN (Augmented CycleGAN). 概述了在计算机视觉、语音与NLP领域中基于GAN和相应GAN变种模型的基本原理结构, 其中包括: 基于CGAN的脸部老化应用(Face aging CGAN, Age-cGAN)、双路径生成对抗网络(Two-pathway GAN, TP-GAN)、表示解析学习生成对抗网络(Disentangled representation learning GAN, DR-GAN)、对偶学习生成对抗网络(DualGAN)、GeneGAN、语音增强生成对抗网络(Speech enhancement GAN, SEGAN)等. 介绍了GAN在医学、数据增强等领域的应用情况, 其中包括: 数据增强生成对抗网络(Data augmentation GAN, DAGAN)、医学生成对抗网络(Medical GAN, MedGAN)、无监督像素级域自适应方法(Unsupervised pixel-level domain adaptation method, PixelDA). 最后对GAN未来发展趋势及方向进行了展望.     

基于条件的边界平衡生成对抗网络

目前没有能够使用简单的网络结构生成高质量特定图像的生成模型,针对这一项任务,本文结合边界平衡生成对抗网络（boundary equilibrium generative adversarial network,BEGAN）的优点,添加附加条件特征以及均方误差损失,建立了条件边界平衡生成对抗网络（conditional-BEGAN,C-BEGAN）,使用这种方法提取其中的生成模型用于特定图像的生成,实验结果表明,该方法相比于其他监督类生成模型可以使用更简单的网络达到更快的收敛速度并且能够生成具有更好质量以及多样性的图片。