深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功,超越了众多传统的方法.然而,近年来深度学习技术被滥用在假视频的制作上,使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息,并合成虚假的语音,来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响,众多学者对假视频的鉴别进行了深入的研究,并提出一系列的检测方法帮助机构或社区来识别此类伪造视频.尽管如此,目前的检测技术仍然存在依赖特定分布数据、特定压缩率等众多的局限性,远远落后于假视频的生成技术.并且,不同的学者解决问题的角度不同,使用的数据集和评价指标均不统一.迄今为止,学术界对深度伪造与检测技术仍缺乏统一的认识,深度伪造和检测技术研究的体系架构尚不明确.在本综述中,我们回顾了深度伪造与检测技术的发展,并对现有研究工作进行了系统的总结和科学的归类.最后,我们讨论了深度伪造技术蔓延带来的社会风险,分析了检测技术的诸多局限性,并探讨了检测技术面临的挑战和潜在研究方向,旨在为后续学者进一步推动深度伪造检测技术的发展和部署提供指导.     

视觉身份隐私保护：人脸匿名化研究方法

随着深度学习的广泛应用，身份伪造技术的发展越来越迅猛.各种伪造的图像和视频在社交媒体平台上的传播直接影响了公共隐私安全，人脸身份隐私保护已成为当前研究热点.本文从基于图像和视频两个方面的匿名化方法阐述和归纳了人脸隐私保护研究现状，并将人脸图像匿名化方法从图像语义修改、图像语义保持、视觉可恢复以及深度学习过程中的人脸隐私保护四个方面进行分类，将人脸视频匿名化方法从聚焦面部区域隐私的视频匿名化方法和面向生物特征隐私的视频匿名化方法两个方面进行分类.在此基础上，本文进一步介绍目前广泛使用的数据集及匿名算法评价标准，分析现有人脸匿名技术生成人脸图像的可靠性和实用性，并对此领域的未来研究进行了展望.     

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

视听觉深度伪造检测技术研究综述

深度学习被广泛应用于自然语言处理、计算机视觉和无人驾驶等领域,引领了新一轮的人工智能浪潮。然而,深度学习也被用于构建对国家安全、社会稳定和个人隐私等造成潜在威胁的技术,如近期在世界范围内引起广泛关注的深度伪造技术能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景及深度伪造内容生成原理,概述和分析了针对不同类型伪造内容（图像、视频、音频等）的检测方法和数据集,最后展望了深度伪造检测和防御未来的研究方向和面临的挑战。     

基于区块链存证的Deepfake内容监管技术研究

随着人工智能技术的发展，基于深度学习的深度伪造技术日趋成熟，通过多媒体篡改工具可以对视频中的人脸进行随意的篡改，并且几乎无法被肉眼察觉。深度伪造人脸视频成为互联网内容监管中不可或缺的重要部分。以短视频社交平台为应用场景，提出了一种基于区块链存证技术的深度伪造人脸视频内容监管方法。方法针对实际场景中图像内容质量差异的特点设计出一种线性混合的检测方法，在边缘端采用基于轻量级微调神经网络的分类器架构，结合服务器端采取频谱特征进行分类。解决了传统独立检测方法面对数亿级短视频内容的上传与发布过程中检测效率与准确率之间难以平衡的问题。上述方法针对视频文件大且大量转发导致的数据冗余问题，采用超级账本与IPFS相结合的数据存储方式，可以对深度伪造人脸视频内容进行快速精准的追溯并对用户行为进行评价。实验结果表明，所提方法在两个公共深度伪造人脸视频数据集(DeepfakeDetection、Celeb-DF)中都表现出较好的效果，并且在针对内容监管平台的性能测试中表现较好。     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

基于USB2.0的数字图像视频流的实时捕捉与显示系统的设计与实现

给出了一个基于USB2.0和DirectShow技术的CMOS数字图像传感器视频流捕捉及显示系统的软件设计与实现方案,阐述了DirectShow的技术结构.详细介绍了USB2.0固件程序、视频捕捉程序和图像显示控制程序的设计过程.该软件可作为基于USB接口的CMOS数字图像传感器摄像头的驱动程序广泛应用于数字摄像头生产过程的质量检测和测试设备中.     

交互式分割视频运动对象的研究与实现

在 MPEG- 4视频编码标准中 ,为了实现基于视频内容的交互功能 ,视频序列的每一帧由视频对象面来表示 ,而生成视频对象面 ,需要对视频序列中运动对象进行有效分割 ,并跟踪运动对象随时间的变化 .在视频分割方法中 ,交互式分割视频对象能满足分割的效率与质量指标要求 ,因此提出了一种交互分割与自动跟踪相结合的方式来分割视频语义对象 ,即在初始分割时 ,依据用户的交互与形态学的分水线分割算法相结合提取视频对象轮廓 ,并用改进的轮廓跟踪方法有效提高视频对象轮廓的精度 ;对后续帧的跟踪 ,采用六参数仿射变换跟踪运动对象轮廓的变化 ,用平移估算的运动矢量作为初始值 ,计算六参数仿射变换的参数 .实验结果表明 ,该方法能有效地分割并跟踪视频运动对象     

Real ideal: Investigating how ideal and hyper-ideal video game bodies affect men and women

Media commonly feature imagery that celebrates idealized bodies and researchers have observed the adverse effects of such depictions. Although video games commonly feature idealized bodies, experimental work investigating the effects of game characters on body image disturbance remains underrepresented. This trend is surprising as the preponderance of hyper-muscular male and hyper-sexualized female characters speaks to the heteronormative, masculine fantasies often given prominence in game content. Using social comparison theory, the current work investigated how ideal and hyper-ideal video game bodies affected women's (study 1) and men's (study 2) body image dissatisfaction. The study also compared these outcomes to a non-exposure control condition. Generally, the data provided evidence that hyper-idealized game characters negatively affected men but positively affected women.     

基于邻近译码图像的运动估计算法

本文首先提出了一咱新的运动估计算法，它利用当前帧中已经译码的相邻图像实现当前图像的运动估计，避免了运动矢量的编码和传输；然后提出了一种符合图像编码要求的图像发割算法，该算法能够较好地从图像中提影响图像质量的关键区域，在这两种新算法基础上，本文最终实现了一种性能较好的视频编码算法。     

视频虚拟键盘中的按键自定义问题研究

目前,电子数码产品的功能越来越强大,功能的复杂直接导致了操作的繁琐.为此,对视频虚拟键盘中的按键自定义问题进行了细致的研究,提出一种基于视频图像处理技术的用户自定义标示符方法,以求针对不同用户提供不同的操作方式.该方法利用电子数码设备附加的摄像设备,记录用户手指移动轨迹,由此识别出用户标识区域,并为该区域赋予相关信息的功能,即用户对于该区域的点击被识别为指定的按键操作,从而实现用户自定义虚拟键盘的功能.最后对该方法进行了实验验证与分析,证明该方法具有技术可行性,并在操作简单方便和成本控制方面有较好表现.     

低照度下视频图像保细节直方图均衡化方法

传统的直方图均衡化方法是通过对直方图中像素出现频率低的灰度等级进行合并实现的,表征图像细节的灰度等级往往被过度合并而使图像细节信息丢失.为解决上述问题,提出了一种改进的直方图均衡化方法,在对两个灰度是否合并进行判断时,根据两灰度等级的距离分别赋与按照一定步长递增的权重系数,避免了灰度等级的过度合并,较好地保留了图像的细节.同时提出了一种非线性灰度级映射变换方法,提高了图像的对比度和整体亮度.实验结果表明,新算法具有明显的改进效果.     

符合人眼视觉特性的视频质量评价模型

视频技术的发展为其质量评价的出了新的课题,但由于评价图像质量的关键在于所用视觉模型是否符合人的感知特性,因此评价图象质量必须考虑以视觉锐度,对比度敏感度,多通道结构和掩盖特性为基础的人眼视觉特性（HVS）,为了使人们对基于人眼视觉特性的视频质量评价模型研究现状有所了解,介绍了几种目前比较成功的基于HVS的视频质量评价模型,并分析和总结了它们的性能,最后展望了评价模型的发展。     

基于相似场景的低照度监控图像增强

为了使低照度监控图像增强后的效果近似于自然光照下的图像,更有利于辨识,对基于相似场景的低照度监控图像增强方法进行研究。首先获取良好光照下,与低照度监控图像场景相似的图像,并建立图像库,从中选择最合适的图像作为参考图像;然后通过直方图匹配的方法,以参考图像为标准,对低照度图像进行增强,并用迭代增强的方法不断提高图像的清晰度;最终得到增强后的低照度监控图像。实验结果表明,该方法改善了图像的视觉效果,提高了图像的亮度和对比度。     

符合人眼视觉特性的视频质量三层噪声加权评价方法

该文研究了一种从下到上的、基于人的视觉感知特性的、三层噪声加权的视频图像质量客观评价方法,给出了相应的评价模型,并对具有256级灰度值的352×288像素的慢运动人物数字图像序列进行了仿真验证。对比结果表明,该方法是一种行之有效的并与主观评价结果相一致的视频图像质量客观评价方法。     

基于二维透射变换的视频全景图拼接算法

视频序列全景图拼接技术是视频图像分析的关键技术之一。针对帧间运动模型为二维投影变换的常见视频序列,提出了一种全景图拼接算法.该算法首先采用改进的基于RANSAC的特征点匹配算法对相邻帧的运动参数进行估计,接着采用直接法对各帧与全景图间的运动参数进行精确调整,最后运用自适应中值滤波绘制出全景图。实验结果表明,该方法能够生成较高质量的全景图,基本能实现无缝连接。