深度伪造视频检测技术综述

深度伪造的滥用,给国家、社会和个人带来了潜在威胁。首先,介绍了深度伪造的概念和当前发展趋势,分析了基于生成对抗网络的深度伪造视频的生成原理和模型,并介绍了视频数据处理算法及主流的深度伪造数据集;其次,综述了基于视频帧内篡改特征的检测方法,针对深度伪造视频帧内的视觉伪影、面部噪声特征的检测问题,介绍了相关机器学习、深度学习等分类算法、模型;然后,针对深度伪造视频在帧间时空状态不一致的情形,阐述了相关时间序列算法和检测方法;接着,介绍了作为检测补充手段的基于区块链溯源的防篡改公共机制和数字水印、视频指纹等信息安全方法;最后,总结了深度伪造视频检测技术的未来研究方向。     

数据增强对深度伪造检测模型的影响研究

针对高压缩率图片检测的准确度不高的问题,解决此类问题的一种有效方法是使用数据增强策略,进而提高对高压缩率图片检测的准确度。围绕数据增强对深度伪造检测模型的影响展开研究,检测网络使用XceptionNet,选取14种基于遮挡类和光学变化的数据增强方法进行分析,之后使用Grad-CAM进行了可视化分析,增强模型的可解释性。实验结果表明,这4种遮挡式方法均有一定效果的提升,而基于光学变换的数据增强方法中,对比度和亮度变换可以提升模型的检测性能。相比于增加网络模型结构等操作,数据增强方法简单有效,可以有效地提升模型在经后处理操作图像上的检测准确度,但数据增强操作并不能有效地增强检测模型的泛化性,因此,针对泛化性的研究仍任重而道远。     

基于深度学习的图像数据增强研究综述

近年来，深度学习在图像分类、目标检测、图像分割等诸多计算机视觉任务中都取得了出色的性能表现。深度神经网络通常依靠大量的训练数据来避免过拟合，因此，出色的性能背后离不开海量图像数据的支持。但在很多实际应用场景中，通常很难获取到足够的图像数据，并且数据的收集也是昂贵且耗时的。图像数据增强的出现很好地缓解了数据不足的问题，作为增加训练数量、提升数据质量和多样性的有效途径，数据增强已成为深度学习模型在图像数据上成功应用的必要组成部分，理解现有算法有助于选择适合的方法以及开发新算法。文中阐述了图像数据增强的研究动机，对众多的数据增强算法进行了系统分类，详细分析了每一类数据增强算法；随后指出数据增强算法设计时的一些注意事项及其应用范围，并通过3种计算机视觉任务证明了数据增强的有效性；最后总结全文并对数据增强未来的研究方向进行展望。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

深度学习在手机数据接口缺陷检测中的应用

为了能更好地对手机数据接口的缺陷进行检测,提出一种基于Faster R-CNN的检测算法.将Faster R-CNN检测架构中的RoIPooling替换成RoIAlign,解决RoIPooling计算过程中2次量化造成的目标回归位置的偏差.使用ResNet50融合FPN的网络作为特征提取网络,提高模型对小型目标缺陷的检...     

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展. 深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音. 自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用. 但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视. 因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印. 首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.

     

基于深度残差网络的光伏故障诊断模型研究

分布式光伏电站的部署环境较为复杂,在实际运行中难免会产生多种故障.针对上述问题,提出了一种基于深度残差网络结构的分布式光伏电站故障诊断模型,对光伏电站的设备运行时序数据进行分析处理,实现对故障类别的快速准确判断.该模型使用一维卷积核感知时序数据特征,通过多级卷积结构提升模型的诊断能力,并采用残差结构解决模型深度增加造成的梯度消失问题,加速了深度模型的训练.光伏电站的测试数据实验结果表明,提出的模型相较于多种常见的智能模型具有较高的故障诊断准确度.该模型的推广使用不仅可以大幅减少光伏电站故障巡检投入,而且还能够提高光伏电站故障诊断效率.     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于数据增强的CT图像病灶检测方法

基于医疗影像的辅助诊断技术正处于快速发展阶段,但是受医学影像数据量的制约,使得基于深度学习的建模方法无法向更复杂的模型进行探索.本文从医学CT影像数据增强方法出发,概述了医疗影像病灶图像的成像特点,针对病灶检测及分割任务对现有方法进行了归类总结,并阐述了当前医学影像检测和分割的难点.分别从病灶检测相关技术、影像数据增强方法、基于生成对抗网络(Generative Adversarial Network,GAN)的病灶检测方法等方面进行了总结.最后,针对医学领域内基于深度学习的数据增强方法:标准GAN、pix2pixGAN、CycleGAN模型进行了对比分析,并展望未来医学影像分析领域的发展趋势.     

一种基于透视变换数据增广的斜视目标鲁棒检测方法

目标检测通过运用卷积神经网络技术,使得在识别的精度上取得非常大的进步。通用的目标检测已经取得较好的检测效果,但是针对工业生产中存在样本量较少的斜视目标问题,算法检测效果较差。主要的原因是训练样本非常稀少,造成基于深度神经网络的检测模型训练发生偏移,对整体的检测精度造成影响。本文提出一种基于透视变换数据增广的斜视目标鲁棒检测方法,通过透视变换模拟斜视目标出现的场景,解决斜视目标样本量较少的问题,同时能够显著增加用于训练的斜视目标样本量,提高斜视目标的识别精度。实验结果表明本文提出的方法对检测精度的提高效果明显。     

基于数据增强的地质文本主题模型

直接利用主题模型对地质文本进行聚类时会出现主题准确性低、主题关键词连续性差等问题, 本文采取了相关改进方法. 首先在分词阶段采用基于词频统计的重复词串提取算法, 保留地质专业名词以准确提取文本主题, 同时减少冗余词串数量节约内存花销, 提升保留词的提取效率. 另外, 使用基于TF-IDF和词向量的文本数据增强算法, 对原始分词语料进行处理以强化文本主题特征. 之后该算法与主题模型相结合在处理后的语料上提取语料主题. 由于模型的先验信息得到增强, 故性能得以提高. 实验结果表明本文算法与LDA模型相结合的方法表现较好, 在相关指标及输出结果上均优于其他方法.     

基于生成对抗网络的数据增强方法

深度学习在分类任务上取得了革命性的突破,但是需要大量的有标签数据作为支撑.当数据匮乏的时候,神经网络极易出现过拟合的问题,这种现象在小规模数据集上尤为明显.针对这一难题,本文提出了一种基于生成对抗网络的数据增强方法,并将其应用于解决由于数据匮乏,神经网络难以训练的问题.实验结果表明,合成的数据和真实的数据相比既具有语义上的相似性,同时又能呈现出文本上的多样性;加入合成的数据后,神经网络能够更加稳定地训练,而且分类的准确度也有了进一步的提高.将提出的算法和其他一些数据增强的技术对比,我们的方法结果最好,从而证明了这种技术的可行性和有效性.     

基于语言学扰动的事件检测数据增强方法

近年来,深度学习在事件检测领域取得了长足进展。但是,现有方法通常受制于事件检测标注数据的规模和训练阶段的不稳定性。针对上述问题,本文提出了基于语言学扰动的事件检测数据增强方法,从语法和语义两个角度生成伪数据来提升事件检测的性能。为了有效的利用生成的伪数据,该文探索了数据增加和多实例学习两个训练策略。在KBP 2017事件检测数据集上的实验验证了我们方法的有效性。此外,在人工构造的少量ACE2005数据集上的实验结果证明该文方法可以大幅度提升小数据情况下的模型学习性能。     

基于天牛须搜索的软件测试数据扩增方法

为使原测试用例集满足软件演化后新版本程序的测试需求,提出一种基于天牛须搜索算法的软件测试数据扩增方法。静态分析新旧版本程序,获取调用图和程序执行信息并得到所需测试的目标方法集,通过计算目标方法包含错误的影响度获得有序目标方法集。根据原测试用例集的覆盖信息选取部分测试用例作为初始的进化种群,基于分支距离和分支嵌套深度设计适应度函数,采用改进的天牛须搜索算法对有序目标方法集实现测试数据扩增。实验结果表明,与基于遗传算法和粒子群优化算法的测试数据扩增方法相比,该方法的测试数据扩增效率约平均提升49.91%和24.76%,且有效降低了回归测试成本。     

基于全局-时频注意力网络的语音伪造检测

语音伪造检测是近年的一个研究热点,受到了广泛关注.目前,卷积神经网及其变种的提出,使其在语音伪造检测任务中取得了不错进展.然而,目前仍存在2方面问题：1)当前工作假设送入卷积神经网络的特征图的每一维对结果的影响是相同的,忽视了每一维上特征图的不同位置强调的信息是不一样的.2)此外,前人工作大多关注特征图的局部信息,没有利用全局视图中特征图之间的关系.为了解决以上挑战,引入全局-时频注意力框架,分别对通道维度和时频维度做了注意力变换.具体而言,引入了2个并行的注意力模块:1)时频注意力模块;2)全局注意力模块.对于时频注意力模块,可以通过使用加权求和在所有时频特征图上聚合特征来进行更新.对于全局注意力模块,借鉴了SE-Net的思想,通过参数为每个特征通道生成权重.通过这种办法,可以得到特征通道上响应的全局分布.在ASVspoof2019 LA公开数据集上进行了一系列实验,结果显示所提的模型取得不错的效果,最佳模型的等错误率达到4.12%,刷新了单个模型的最好成绩.     

一种基于生成式对抗网络的图像数据扩充方法

针对卷积神经网络(CNN)在数据集(训练集)较小时,易发生过度拟合的现象,提出并实现了一种引入Selu激活函数并结合带参数归一化的Dropout方法的深度卷积生成式对抗网络用于图像增强,生成图像实现数据集扩充,从而解决深度学习图像分类研究中因图像数据不足造成的模型表达能力差、训练时易过度拟合的问题。通过裁剪、旋转、插值、畸变变换等扩充图像集的传统图像增强方法往往只能扩充样式单一甚至信噪比较低的图像,与传统图像增强方法扩充图像集不同,使用生成式对抗网络生成的图像明显区别于原始图像,不仅可以得到数量更多,内容更丰富的高质量图像,数据集扩充效率也得以提升。仿真实验表明,该生成式对抗网络得到了质量相对较高的图像,有效地扩充了数据集。