生成对抗网络人脸生成及其检测技术研究

随着AIGC的突破性进展,内容生成技术成为社会关注的热点。文章重点分析基于GAN的人脸生成技术及其检测方法。首先介绍GAN的原理和基本架构,然后阐述GAN在人脸生成方面的技术模式。重点对基于GAN在人脸语义生成方面的技术框架进行了综述,包括人脸语义生成发展、人脸语义生成的GAN实现。接着从多视图姿态生成、面部年龄改写、人脸的属性风格生成三个方面展开详细的阐述,并从政策法规、检测技术两个方面对伪造生成人脸图片的检测方法进行了分析。文中将检测技术分成基于深度学习、基于物理、基于生理学、基于人类视觉四个方面,最后对检测技术未来方向进行了展望。     

深度伪造视频的鉴别与规制

深度伪造技术是人工智能在计算机视觉领域的应用产物,深度伪造视频的出现,给信息安全带来了前所未有的严峻挑战,进一步研究其鉴别与规制尤为重要.首先,阐述了深度伪造视频的相关概念以及其对公民合法权益、社会诚信体系以及国家政治安全所造成的威胁.随后,对当前深度伪造视频的鉴别技术进行梳理和归纳并分别阐述其优势与不足.最后,提出应...     

“深度伪造”的风险及对策研究

深度伪造技术是人工智能发展到一定阶段的产物,其高度的逼真性引发诸多争议。美国国会召开的深度伪造的听证会深入探讨了该技术对个人、社会和国家的潜在风险,同时从技术、法律、教育等角度提出相对的防范措施。整体而言,对深度伪造技术不能一概否决,在加强对影响国家安全、公共安全的虚假信息的监管和规制的同时,也要发挥深度伪造技术在教育、艺术、医疗等领域的积极作用。     

基于Inception3D网络的眼部与口部区域协同视频换脸伪造检测

近年来出现并迅猛发展的深度伪造(DeepFake)技术深刻改变了多媒体内容伪造的方式和水平,给网络空间内容安全带来了新的严峻挑战.本文主要关注深度伪造中危害最大的视频换脸伪造,提出基于I3D(Inception3D)网络的眼部与口部双流检测方法.首先,针对现有大多数伪造检测方法忽略了视频中重要的时间信息的问题,将目前常...     

面向浅层特征高频分量的深度伪造检测算法

近年来，深度伪造技术大幅提升了合成人脸的真实感，且相较于传统伪造方法，其生成的虚假视频更加难以分辨。基于深度伪造图像视觉伪影常常存在于特征提取网络浅层特征高频分量中这一特性，设计了一种面向浅层特征高频分量的深度伪造图像检测算法。针对高通滤波器的缺陷，本实验在拉普拉斯金字塔的基础上设计了一种具有更好的过滤性能的高频残差提取模块。在增强模块中，使用Convolutional Block Attention Module (CBAM)增加特征图关键区域以及关键特征通道的权重，提升特征图的空间以及通道相关性。针对深层网络中高频分量学习优先级低的问题，设计了一种图像梯度损失算法，防止高频信息随着网络的加深而丢失。将梯度中心化引入AdamW优化器，解决了深度伪造检测模型训练时间长、泛化性差的问题。所提两种模型在FaceForensics++和Celeb-DF数据集上的准确率均优于主流算法，证明了算法的有效性以及泛化性。     

基于图像分割网络的深度假脸视频篡改检测

随着深度学习技术的快速发展,利用深度神经网络模型伪造出的深度假脸(deepfake)视频越来越逼真,假脸视频造成的威胁也越来越大。文献中已出现一些基于卷积神经网络的换脸视频检测算法,他们在库内获得较好的检测效果,但跨库检测性能急剧下降,存在泛化能力不足的问题。该文从假脸篡改的机制出发,将视频换脸视为特殊的拼接篡改问题,利用流行的神经分割网络首先预测篡改区域,得到预测掩膜概率图,去噪并二值化,然后根据换脸主要发生在人脸区域的前提,提出一种计算人脸交并比的新方法,并进一步根据换脸处理的先验知识改进人脸交并比的计算,将其作为篡改检测的分类准则。所提出方法分别在3个不同的基础分割网络上实现,并在TIMIT, FaceForensics++, FFW数据库上进行了实验,与文献中流行的同类方法相比,在保持库内检测的高准确率同时,跨库检测的平均错误率显著下降。在近期发布的合成质量较高的DFD数据库上也获得了很好的检测性能,充分证明了所提出方法的有效性和通用性。     

基于图像分割网络的深度假脸视频篡改检测

随着深度学习技术的快速发展,利用深度神经网络模型伪造出的深度假脸(deepfake)视频越来越逼真,假脸视频造成的威胁也越来越大.文献中已出现一些基于卷积神经网络的换脸视频检测算法,他们在库内获得较好的检测效果,但跨库检测性能急剧下降,存在泛化能力不足的问题.该文从假脸篡改的机制出发,将视频换脸视为特殊的拼接篡改问题,利用流行的神经分割网络首先预测篡改区域,得到预测掩膜概率图,去噪并二值化,然后根据换脸主要发生在人脸区域的前提,提出一种计算人脸交并比的新方法,并进一步根据换脸处理的先验知识改进人脸交并比的计算,将其作为篡改检测的分类准则.所提出方法分别在3个不同的基础分割网络上实现,并在TIMIT,FaceForensics++,FFW数据库上进行了实验,与文献中流行的同类方法相比,在保持库内检测的高准确率同时,跨库检测的平均错误率显著下降.在近期发布的合成质量较高的DFD数据库上也获得了很好的检测性能,充分证明了所提出方法的有效性和通用性.     

基于SMPL的人物视频生成算法

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMPL人体模型对人物进行3D建模,获取人物外观信息。随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型。最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频。得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型。     

基于超分辨率重建的强压缩深度伪造视频检测

经典的深度伪造(DeepFake)视频检测方法一般使用卷积神经网络进行检测,但在强压缩深度伪造换脸视频数据集上表现较差,并会对真实数据做出大量误检测。针对这个问题,该文提出一种基于超分辨率重建的强压缩深度伪造视频检测方法。该方法基于深度神经网络检测模型,通过融入超分辨率重建技术,恢复强压缩视频所损失的空间与时间信息,进而提升对强压缩视频的检测准确率。使用FaceForensics++及DFDC数据集进行实验,针对强压缩的深度伪造视频,该方法较ResNet50提高了单帧以及视频的测试准确率,有效缓解强压缩真实视频的误检测问题。     

基于超分辨率重建的强压缩深度伪造视频检测

经典的深度伪造(DeepFake)视频检测方法一般使用卷积神经网络进行检测,但在强压缩深度伪造换脸视频数据集上表现较差,并会对真实数据做出大量误检测.针对这个问题,该文提出一种基于超分辨率重建的强压缩深度伪造视频检测方法.该方法基于深度神经网络检测模型,通过融入超分辨率重建技术,恢复强压缩视频所损失的空间与时间信息,进而提升对强压缩视频的检测准确率.使用FaceForensics++及DFDC数据集进行实验,针对强压缩的深度伪造视频,该方法较ResNet50提高了单帧以及视频的测试准确率,有效缓解强压缩真实视频的误检测问题.     

语音伪造及检测技术研究综述

语音承载着人类语言和说话人身份信息,通过语音伪造技术可以精确模仿目标说话人的声音以达到欺骗人或机器听觉的目的。目前,深度伪造（Deepfake）正在对全球的政治经济及社会稳定带来极大的威胁,其中语音伪造是Deepfake实现舆论操控的核心技术之一。近年来语音伪造技术在拟人度、自然度方面有了显著进步,使得语音伪造检测技术面临着更大的挑战。本文对当前主流的语音伪造和伪造语音检测技术研究现状进行综述,主要包括:1）对主流语音伪造技术,包括语音合成、语音转换和语音对抗样本的基本概念、技术发展历程和研究进展进行综述;2）对伪造语音检测技术的基本概念、性能评价指标、主要技术实现原理和性能效果进行综述;3）对伪造语音检测相关的主流竞赛、常用数据集和可用代码工具资源进行介绍;最后对语音伪造和检测技术现存的挑战性问题和未来的研究方向进行讨论。      

一种基于特征点对齐的假脸检测框架

近年来,Deepfake等假脸技术的产生颠覆了人们对人脸信息真实性和安全性的认知,引发广泛的社会担忧,检测假脸成为了学术界、产业界共同关注的热点问题。通过一种基于特征点对齐的假脸检测框架,可以有效对Deepfake技术产生的假脸进行判别。该框架制定了一套包括人脸检测、定点、对齐、特征提取、假脸识别等步骤的假脸检测流程,并通过引入特征点对齐保障假脸检测效果。在Deepfake检测挑战赛(DFDC)数据集上的试验表明,该框架适配4种当前主流骨干网络算法都能获得较好的检测结果;在FaceForensics++数据集上的试验表明,该框架适配ResNet50针对几种不同方式生成的假脸图像都可以取得良好效果。     

面向图像视频取证的机器学习综述

近年来,随着机器学习技术,特别是深度学习技术的飞速发展,使得一般人也能够生成非常逼真的高质量造假图像和视频。这给社会和个人带来了极大的风险,也引起了世界各国相关部门以及学术界的高度重视。针对图像和视频的篡改技术和取证技术是相互对抗相互促进的矛盾双方。机器学习技术的飞速发展,同样地也触发了图像/视频取证技术的跨越式演化。本文对近年来,特别是过去三年面向图像/视频取证的机器学习技术的飞速发展现状进行了综述,展示了基于传统人工构造特征以及端到端的图像视频取证机器学习方法,并探讨了不同检测技术的优缺点,重点对Deepfake换脸视频的取证技术以及基于深度学习的取证与反取证的对抗进行了介绍。对现有的科研工作进行了科学的归类。最后对其未来的发展趋势进行了展望,旨在为后续学者的研究进一步推动图像/视频取证的机器学习技术提供指导。      

区分来源和目标区域的图像copy-move伪造检测方法

Copy-move是一种常用的图像伪造手段,它通过复制图像的某一区域,移动并粘贴到同一图像的其他位置,达到掩盖重要信息或伪造虚假场景的目的。近年来,为了防止copy-move被用于违法犯罪,copy-move伪造检测技术迅猛发展,在维护社会运行秩序和信息安全方面发挥着积极作用。本文提出一种基于条件生成对抗网络(conditional Generative Adversarial Networks, cGANs)的copy-move伪造检测方法。针对图像copy-move伪造检测,该方法优化设计了cGANs的损失函数,并使用适量的弱监督样本来提升网络性能。不同于目前大部分检测算法,该方法不仅可以定位出图像中的相似区域,还可以有效区分伪造来源区域和伪造目标区域。实验结果表明,本文所提出的方法在检测准确率上显著优于现有方法。      

基于openCV的人脸检测系统的设计

通过对基于Adaboost人脸检测算法的研究,利用该算法与计算机视觉类库openCV进行人脸检测系统的设计,实现了对出现在视频或图像中的人脸检测。此外,在VC++6.0环境下实现了对一个简单的人脸检测系统软件的界面开发,该系统对人脸检测的速度较快,检测结果较为准确,可以作为其他人脸检测或人脸模式识别的系统的开发基础。     

基于传播意图特征的虚假新闻检测方法综述

虚假新闻的传播会对个人、社会和国家产生巨大的负面影响,因此虚假新闻的检测始终都是研究的热点问题。虚假新闻检测实质上是一种信息分类问题,旨在验证由文本,图像和视频等多媒体信息构成的新闻的真实性。本文对虚假新闻检测问题和当前的主流方法展开了比较系统的研究,并揭示了虚假新闻的一个本质,即与报道真实事件的真实新闻不同,假新闻通常是有意为之,有特定的传播意图如误导公众等。基于这一特性,本文首先将虚假新闻的传播意图大致分为三类,并根据对应的相关特征对当前的研究方法作了分析,旨在能让读者从一个全新的角度理解虚假新闻检测领域。本文还介绍了虚假新闻检测的问题定义、基本范式、常用数据集和指标,并给出了该领域的未来的一些发展方向。      

Anti-spoofing enabled face recognition based on aggregated local weighted gradient orientation

Spoofing attack is a catastrophic threat for biometric authentication systems. Inspired by the concept of depth map estimation, a novel anti-spoofing technique based on aggregated local weighted gradient orientation (ALWGO) is proposed. We first estimate the depth of the specimen face image. In the next step, highly discriminant ALWGO features are extracted from the depth map. Finally, a sparse representation classifier is trained to distinguish between the genuine and fake faces. This paper particularly addresses the potential of texture gradient features and their variations, on three types of attacks, viz. printed high-definition photographs, warped photographs and videos displayed on mobile phones. The usage of ALWGO features has been extended for further face recognition. Our proposed approach is robust and nonintrusive as compared to many existing methods. Extensive experimental analysis on publicly available databases clearly demonstrates the superiority of our approach for both face spoofing detection and recognition systems.     

Robust face anti-spoofing with depth information

With the prevalence of face authentication applications, the prevention of malicious attack from fake faces such as photos or videos, i.e., face anti-spoofing, has attracted much attention recently. However, while an increasing number of works on the face anti-spoofing have been reported based on 2D RGB cameras, most of them cannot handle various attacking methods. In this paper we propose a robust representation jointly modeling 2D textual information and depth information for face anti-spoofing. The textual feature is learned from 2D facial image regions using a convolutional neural network (CNN), and the depth representation is extracted from images captured by a Kinect. A face in front of the camera is classified as live if it is categorized as live using both cues. We collected a face anti-spoofing experimental dataset with depth information, and reported extensive experimental results to validate the robustness of the proposed method.