结合图像块比较与残差图估计的人脸伪造检测

目的 由于不同伪造类型样本的数据分布差距较大,现有人脸伪造检测方法的准确度不够高,而且泛化性能差。为此,本文引入“图像块归属纯净性”和“残差图估计可靠性”的概念,提出了基于图像块比较和残差图估计的人脸伪造检测方法。方法 除了骨干网络,本文的人脸伪造检测神经网络主要由纯净图像块比较模块和可靠残差图估计模块两部分组成。为了避免在同时包含人脸和背景像素的图像块上提取的混杂特征对于图像块比较的干扰,纯净图像块比较模块中选择只包含人脸像素的纯净人脸图像块和只包含背景像素的纯净背景图像块,通过比较两种图像块纯净特征之间的差异来检测伪造图像,图像块的纯净性保障了特征提取的纯净性,从而提高了特征比较的鲁棒性。考虑到靠近伪造边缘的像素比远离伪造边缘的像素具有较高的残差估计准确度,本文在可靠残差图估计模块中根据像素到伪造边缘的距离设计了一个距离场加权的残差损失来引导网络的训练过程,使网络重点关注输入图像与对应真实图像在伪造边缘附近的差异,对于可靠信息的关注进一步增强了伪造检测的鲁棒性。结果 在FF++(FaceForensics++)数据集上的测试结果显示:与对比算法中性能最好的F2Trans-B相比,本文方法的准确率和AUC(area under the ROC curve)指标分别提高了2.49%和3.31%,在FS(FaceSwap)与F2F(Face2Face)两种伪造数据上的准确率指标分别提高了6.01%和3.99%。在泛化性能方面,与11种已有方法在交叉数据集上的测试结果显示:本文方法与其中性能最好的方法相比,在CDF(Celeb-DF)数据集上的视频AUC指标和图像AUC指标分别提高了1.85%和1.03%。结论 与对比方法相比,由于提高了特征信息的纯净性和可靠性,本文提出的人脸图像伪造检测模型的泛化能力和准确率优于对比方法。     

“零信任”在云化业务中的安全技术研究

信息安全包含了网络安全、数据安全、应用安全、行为安全等,未来还有更多安全形式出现。过去我们在规避信息安全的风险问题上更多是从网络安全这个层面来考虑的,基本上保护的都是网络和网络设备本身。在业务系统迁移到云上的趋势下,用户更加关注的是云化应用自身的安全和应用产生的数据的安全。基于传统网络安全模型或者网络攻防的安全策略属于被动的防御,是一种被动的安全,组织往往要提前识别可能遭受到的网络攻击风险,然后考虑应对策略。现在和未来,需要一系列的主动安全,比如零信任的安全方案,对于应用安全来说,就是主动安全,通过账号安全将安全边界前移用户侧,可视化技术实现从用户访问上下文行为分析,从而实现零信任的控制接入,控制访问细颗粒度的权限来实现对应用系统的主动防御。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

数据增强对深度伪造检测模型的影响研究

针对高压缩率图片检测的准确度不高的问题,解决此类问题的一种有效方法是使用数据增强策略,进而提高对高压缩率图片检测的准确度。围绕数据增强对深度伪造检测模型的影响展开研究,检测网络使用XceptionNet,选取14种基于遮挡类和光学变化的数据增强方法进行分析,之后使用Grad-CAM进行了可视化分析,增强模型的可解释性。实验结果表明,这4种遮挡式方法均有一定效果的提升,而基于光学变换的数据增强方法中,对比度和亮度变换可以提升模型的检测性能。相比于增加网络模型结构等操作,数据增强方法简单有效,可以有效地提升模型在经后处理操作图像上的检测准确度,但数据增强操作并不能有效地增强检测模型的泛化性,因此,针对泛化性的研究仍任重而道远。     

基于时空特征一致性的Deepfake视频检测模型

针对目前大部分研究方法仅关注Deepfake单幅图像的空间域特征而设计检测方法的问题,本文以Deepfake视频中人物面部表情变化存在细微的不一致、不连续等现象为出发点,本文提出一种基于时空特征一致性的检测方法。该方法使用卷积神经网络对待检测图像提取空域特征,利用光流法在待检测图像的连续帧间进行时域特征的捕获,同时利用卷积神经网络对时域特征进行深层次特征提取,在时域特征和空域特征经过多重的特征变换后,使用全连接神经网络对空域特征和时域特征的组合空间进行分类实现检测目标。将本文提出的模型在Faceforensics++开源Deepfake数据集上开展模型的训练并对模型的检测效果进行实验验证。实验结果表明,本文所提方法的检测准确率可达98.1%,AUC值可达0.9981。通过与现有的Deepfake检测方法进行对比,本文方法在检测准确率和AUC取值方面均优于现有方法,验证了本文模型的有效性。     

CNN结合Transformer的深度伪造高效检测

目的 深度伪造视频检测是目前计算机视觉领域的热点研究问题。卷积神经网络和Vision Transformer(ViT)都是深度伪造检测模型中的基础结构,二者虽各有优势,但都面临训练和测试阶段耗时较长、跨压缩场景精度显著下降问题。针对这两类模型各自的优缺点,以及不同域特征在检测场景下的适用性,提出了一种高效的CNN(convolutional neural network)结合Transformer的联合模型。方法 设计基于Efficient Net的空间域特征提取分支及频率域特征提取分支,以丰富单分支的特征表示。之后与Transformer的编码器结构、交叉注意力结构进行连接,对全局区域间特征相关性进行建模。针对跨压缩、跨库场景下深度伪造检测模型精度下降问题,设计注意力机制及嵌入方式,结合数据增广策略,提高模型在跨压缩率、跨库场景下的鲁棒性。结果 在Face Forensics++的4个数据集上与其他9种方法进行跨压缩率的精度比较,在交叉压缩率检测实验中,本文方法对Deepfake、Face2Face和Neural Textures伪造图像的检测准确率分别达到90.35%、71.79%...     

深度伪造生成与检测研究综述

目前用于建立和操作多媒体信息技术已经发展到了可确保高度真实感的程度。深度伪造作为一种生成式深度学习算法,可实现音频、图像、视频的伪造生成,近些年也取得了相当巨大的进步,与之对抗的深度伪造检测技术也在不断的发展中。梳理常见深度伪造生成的技术以及相关的数据集,总结其中的原理以及最新方法成果;并对深度伪造检测相关技术和数据集进行分析总结。对深度伪造生成和检测的未来研究方向进行了总结和展望。     

结合频域信息与对抗网络的虚假图像检测

随着深度学习方法的发展, 深度造假(Deepfake)技术越发成熟。大量近似真实自然的图像涌入人们的生活, 在满足个人娱乐兴趣的同时, Deepfake技术的滥用对个人隐私、经济市场乃至国家安全构成了潜在威胁。因此,针对虚假图像的检测方法亟待研究。现有的虚假图像检测技术大多存在准确率低、泛化性差、鲁棒性不足的问题, 因此, 本文从Deepfake技术的图像生成机制出发, 对生成的虚假图像存在缺陷进行分析, 并提出了一种基于生成对抗网络的虚假图像检测模型。该模型利用离散傅里叶变换方法将图像从图像域转换到频域, 并将U-Net结构和谱归一化引入鉴别器; 利用生成对抗网络优异的特征学习和提取能力, 实现了虚假图像的模式分类。此外, 一种新颖的复合损失函数被提出, 以增强模型检测性能。提出的方法分别在7个单独数据集和1个混合数据集上进行实验验证, 并采用3种实验指标进行模型性能分析。本文方法在单独数据集上最高可达到100%准确率, 最低准确率也可达88.53%; 模型检测召回率, 精确率和F1分数平均分别可达98.17%, 98.25%, 98.19%。此外, 无论是在混合数据集, 还是在模型未知的跨数据集上, 提出方法都能获得良好的模型检测性能。即使在图像压缩的情况下, 本文方法仍然具有较强的鲁棒性。实验与理论结果表明, 与现有先进的虚假图像检测方法相比, 本文方法是一种有效且具有良好泛化性和鲁棒性的虚假图像检测方法。     

“深度伪造”的风险及对策研究

深度伪造技术是人工智能发展到一定阶段的产物,其高度的逼真性引发诸多争议。美国国会召开的深度伪造的听证会深入探讨了该技术对个人、社会和国家的潜在风险,同时从技术、法律、教育等角度提出相对的防范措施。整体而言,对深度伪造技术不能一概否决,在加强对影响国家安全、公共安全的虚假信息的监管和规制的同时,也要发挥深度伪造技术在教育、艺术、医疗等领域的积极作用。     

针对深度伪造的对抗攻击算法动态APGD设计

为了防范利用深度伪造模型伪造图片，提出了一种改进的对抗样本生成算法即动态APGD（dynamic APGD，DAPGD），通过制作对抗样本替代原始图片，使深伪模型的输出产生明显失真，从而无法有效地生成伪造图片。DAPGD使用自适应衰减学习率的思路，能加快算法收敛速度，提升收敛时对抗样本的质量；同时针对APGD容易错过最佳衰减学习率时机的问题，动态地设置用于衰减学习率的检查点，能更彻底地发挥学习率衰减的作用。由于深伪模型使用随机参数导致损失函数不稳定，取消了APGD的局部早停机制，提升算法的效果与速度。针对三个主流深度伪造模型进行DAPGD攻击实验，并与原算法及其他算法进行对比，结果表明，DAPGD生成的对抗样本在输出失真大小、攻击成功比例两个指标上均能取得更好的效果，能更有效地干扰深伪模型伪造图片。