人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。     

人脸深度伪造主动防御技术综述

深度生成模型的飞速发展推动了人脸深度伪造技术的进步,以Deepfake为代表的深度伪造模型也得到了十分广泛的应用。深度伪造技术可以对人脸图像或视频进行有目的的操纵,一方面,这种技术广泛应用于电影特效、娱乐场景中,丰富了人们的娱乐生活,促进了互联网多媒体的传播;另一方面,深度伪造也应用于一些可能造成不良影响的场景,给公民的名誉权、肖像权造成了危害,同时也给国家安全和社会稳定带来了极大的威胁,因此对深度伪造防御技术的研究日益迫切。现有的防御技术主要分为被动检测和主动防御,而被动检测的方式无法消除伪造人脸在广泛传播中造成的影响,难以做到“事前防御”,因此主动防御的思想得到了研究人员的广泛关注。然而,目前学术界有关深度伪造防御的综述主要关注基于检测的被动式防御方法,几乎没有以深度伪造主动防御技术为重点的综述。基于此,本文对当前学术界提出的人脸深度伪造主动防御技术进行梳理、总结和讨论。首先阐述了深度伪造主动防御的提出背景和主要思想,并对现有的人脸深度伪造主动防御算法进行汇总和归类,然后对各类主动防御算法的技术原理、性能、优缺点等进行了系统性的总结,同时介绍了研究常用的数据集和评估方法,最后对深度...     

基于深度对齐网络的生成对抗网络伪造人脸检测

针对现有的生成对抗网络（GAN）伪造人脸图像检测方法在有角度及遮挡情况下存在的真实人脸误判问题,提出了一种基于深度对齐网络（DAN）的GAN伪造人脸图像检测方法。首先,基于DAN设计面部关键点提取网络,以提取真伪人脸关键点位置;然后,采用主成分分析（PCA）方法将每一组关键点映射到三维空间,从而减少冗余信息以及降低特征维度;最后,利用支持向量机（SVM）五折交叉验证对特征进行分类,并计算准确率。实验结果表明,该方法通过提高面部关键点定位准确度改善了由于定位误差引起的面部不协调问题,进而降低了真实人脸误判率。与VGG19、XceptionNet和Dlib-SVM方法相比,正脸情况下,该方法的ROC下面积（AUC）值提高了4.48到32.96个百分点,平均精度（AP）提高了4.26到33.12个百分点;有角度及遮挡人脸情况下,该方法的AUC值提高了10.56到30.75个百分点,AP提高了7.42到42.45个百分点。     

视觉身份隐私保护：人脸匿名化研究方法

随着深度学习的广泛应用，身份伪造技术的发展越来越迅猛.各种伪造的图像和视频在社交媒体平台上的传播直接影响了公共隐私安全，人脸身份隐私保护已成为当前研究热点.本文从基于图像和视频两个方面的匿名化方法阐述和归纳了人脸隐私保护研究现状，并将人脸图像匿名化方法从图像语义修改、图像语义保持、视觉可恢复以及深度学习过程中的人脸隐私保护四个方面进行分类，将人脸视频匿名化方法从聚焦面部区域隐私的视频匿名化方法和面向生物特征隐私的视频匿名化方法两个方面进行分类.在此基础上，本文进一步介绍目前广泛使用的数据集及匿名算法评价标准，分析现有人脸匿名技术生成人脸图像的可靠性和实用性，并对此领域的未来研究进行了展望.     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络（Convolutional Neural Network,CNN）发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络（Recurrent Neural Network,RNN）捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。     

视听觉深度伪造检测技术研究综述

深度学习被广泛应用于自然语言处理、计算机视觉和无人驾驶等领域,引领了新一轮的人工智能浪潮。然而,深度学习也被用于构建对国家安全、社会稳定和个人隐私等造成潜在威胁的技术,如近期在世界范围内引起广泛关注的深度伪造技术能够生成逼真的虚假图像及音视频内容。本文介绍了深度伪造的背景及深度伪造内容生成原理,概述和分析了针对不同类型伪造内容（图像、视频、音频等）的检测方法和数据集,最后展望了深度伪造检测和防御未来的研究方向和面临的挑战。     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

Image dehazing via enhancement,restoration, and fusion: A survey

Haze usually causes severe interference to image visibility. Such degradation on images troubles both human observers and computer vision systems. To seek high-quality images from degraded ones, a large number of image dehazing algorithms have been proposed from different perspectives like image enhancement, restoration, and fusion. Especially in recent years, with the rapid development of deep learning, CNN-based methods have already dominated the mainstream of image dehazing and gained significant progress on benchmark datasets. This paper firstly presents a comprehensive survey of existing image dehazing methods, and then conducts both qualitative and quantitative comparisons among representative methods, from classic methods to recent advanced approaches. We expect the literature survey and benchmark analysis could help readers better understand the advantages and limitations of existing dehazing methods. Moreover, a discussion on possible trends in single image dehazing is put forward to innovate further works.     

中国图象工程：1995（续）

本文是对“中国图象工程：1995”一文[1]的补充，我们首先对图象工程与一些相近学科的关系给予了进一步的讨论，其次在1995年出版的一些应用性较强的期刊上又先取50多篇有关图象工程的论文根据内容进行了分类统计，最后还结合[1]中结果进行了比较讨论。     

Detecting the most unusual part of two- and three-dimensional digital images

The purpose of this paper is to introduce an algorithm that can detect the most unusual part of a digital image in probabilistic setting. The most unusual part of a given shape is defined as a part of the image that has the maximal distance to all non-intersecting shapes with the same form. The method is tested on two- and three-dimensional images and has shown very good results without any predefined model. A version of the method independent of the contrast of the image is considered and is found to be useful for finding the most unusual part (and the most similar part) of the image conditioned on given image.The results can be used to scan large image databases, as for example medical databases.     

一种改进图像拼接算法的仿真研究

研究图像拼接优化问题,在图像拼接中有精度要求,但由于受到光照、目标移动、视角等影响,图像含有噪声,且容易发生变形,传统Harris特征提取算子不能适应图像变形特性,容易获得很多错误的特征点,导致后继的图像拼接精度低。为了提高图像拼接精度,提出一种改进Harris算子的图像拼接方法。首先对待拼接图像进行平滑和几何校正处理,然后采用改进Harris算子提取图像特征点,最后采用傅立叶变换实现图像配准,平均值法进行图像融合,得到一幅全景图像。仿真结果表明,改进算法不仅减少了图像拼接耗费的时间,同时提高了图像精度和拼接的效率,达到了图像无缝拼接的效果。     

中国图象工程：1995

中国图象工程：１９９５章毓晋（清华大学电子工程系北京１０００８４）１前言图象是各种观测系统以不同形式和手段去感知客观世界而获得的、可以直接或间接作用于人的视觉系统的实体。图象技术在广义上是各种与图象有关的技术的总称。目前人们主要研究的是数字图象，主要...     

一种新的图像定位和分类系统实现方案

首先简单介绍了图像定位和分类系统的基本概念。然后分析了几种图像定位和分类系统的实现方式与性能。在此基础上,提出了一种新型图像和分类系统实现方案:该方案采用可重配置器件FPGA和数字信号处理器DSP协同工作,实现了便携式图像处理系统。最后给出系统测试平台设计思路,并详细列出新型系统的性能数据。     

材料腐蚀图像内容检索方法分析

文章主要介绍了图像数据特征的表述、图像内容的检索方法,并对材料腐蚀特征中的颜色特征、纹理特征、形状特征进行了分析,以便于材料腐蚀特征的提取,图像内容的匹配,从而实现材料图像内容的检索,为图像数据库的储存、检索、处理提供相应的研究方法。     

机器视觉和图像技术

本文对与机器视觉和图像技术相关的一些名词给出了简洁概括的定义,对机器视觉中主要涉及的图像技术的原理进行了介绍,并给出了一些图像技术应用的实例和结果。     

图像文本分析技术及其应用

文本是计算机视觉的许多应用中的一项重要特征。大量复杂图像文本的应用,使图像文本分析技术成为研究的新方向。图像文本分析技术和通常的文档图像分析技术之间有着紧密的联系;但是图像文本其自身所具有的特性,又使得图像文本分析技术具有不同于一般的文档图像分析的更加丰富的内容。我们将图像文本分析技术划分为三大组成部分：图像文本定位、图像文本的预处理和图像文本的识别进行讨论。最后,本文也对图像文本分析技术的应用进行了讨论。     

中国图象工程:1997

本文是关于中国图象工程的年度文献综述系列之三。考虑到目前我国图象工程的研究，图象技术的应用和有关文献的分布情况，我们对１９９７年发表在国内１５种有关图象工程的重要中文期刊上的近３００篇有关学术研究和技术应用论文根据其主要内容进行了分类和统计，并进行了分析讨论。这个工作概括反映了图象工程在我国发展的现状，对从事图象工程研究和图象技术应用的人员查阅有关文献提供了方便，并对期刊编者和论文作者有参考作用。