多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积...     

基于3D CNNS的深度伪造视频篡改检测

近年来,Deepfake视频引起了广泛的关注.人们很难区分Deepfake视频.这些篡改的视频将给社会带来巨大的潜在威胁,如被用来制作假新闻等.因此,目前需要找到一种有效识别这些合成视频的方法.针对上述问题,提出了一种基于3D CNNS的深度伪造视频检测模型.该模型注意到Deepfake视频的时域特征和空域特征的不...     

利用运动矢量进行视频篡改检测

随着高质量的数字摄像机和功能复杂的视频编辑软件的出现,对视频进行恶意篡改已变得越来越容易;同时迅速庞大的视频数据也使得利用计算机自动检测恶意篡改的需求日益迫切.针对视频恶意篡改的特点并利用帧间内容的连续性,提出通过统计视频帧间预测的运动矢量,检测视频是否被恶意篡改.首先,提取各P帧的运动矢量幅度;然后利用滑动窗口、计算窗口中各运动矢量幅度与窗口中的幅度均值的距离.由于篡改点处运动矢量的幅度与所属窗口均值的偏移较大,从而能够有效检测出篡改及其位置.同时通过改变图像组大小进行再压缩,可以进一步降低漏检概率.实验表明所提方法能够有效地检测出视频在时间轴上的篡改.     

融合多特征的视频帧间篡改检测算法

传统的视频帧间被动取证往往依赖单一特征,而这些特征各自适用于某类视频,对其他视频的检测精度较低。针对这种情况,提出一种融合多特征的视频帧间篡改检测算法。该算法首先计算视频的空间信息和时间信息值并对视频进行分组,接着计算视频帧间连续性VQA特征,然后结合SVM–RFE特征递归消除算法对不同特征排序,最后利用顺序前向选择算法和Adaboost二元分类器对排序好的特征进行筛选与融合。实验结果表明,该算法提高了篡改检测精度。     

视频帧内运动目标移除篡改检测算法

针对数字视频帧内对象被移除的篡改操作,提出了一种基于主成分分析（PCA）的篡改检测算法。首先对待测视频帧与基准帧相减得到的差异帧使用稀疏表示方法进行去噪,降低噪声对随后特征提取的干扰;其次将去噪后的视频帧进行非重叠分块,利用主成分分析提取像素点的特征并构造特征向量空间;然后使用k-means算法对特征向量空间进行分类,并将分类结果用二值矩阵表示;最后对二值矩阵进行图像形态学操作得到最终检测结果。实验结果表明所提算法的检测性能指标精确度达到91%、准确度达到100%、F1值达到95.3%,比基于压缩感知的视频篡改检测算法在性能指标上有一定程度的提高。实验证明,对于背景静止的视频,该算法能够检测出帧内运动目标被删除的篡改操作,而且对有损压缩视频具有很好的鲁棒性。     

基于非关键掩码和注意力机制的深度伪造人脸篡改视频检测方法

自深度伪造技术(Deepfake)被提出以来,其非法应用对个人、社会、国家安全造成了恶劣影响,存在巨大隐患,因此针对人脸视频的深度伪造检测是计算机视觉领域中的热点及难点问题。针对上述问题,提出了一种基于非关键掩码和CA＿S3D模型的深度伪造视频检测方法。该方法首先将人脸图像划分为关键区域和非关键区域,通过对非关键区域掩码的处理,提高了深度神经网络对人脸图像关键区域的关注程度,减少了无关信息对深度神经网络的影响和干扰;接着在S3D网络中引入上下文注意力模块,增强了对样本数据信息长程依赖的捕获能力,提高了对关键通道和特征的关注程度。实验结果表明,该方法在DFDC数据集上得到了明显的性能提升,准确率从83.85%提升到了90.10%,AUC值从0.931提升到了0.979;同时与现有的深度伪造视频检测方法进行了对比,所提方法的表现优于现有方法,验证了该方法的有效性。     

基于噪声注意力的伪造人脸检测方法

随着人工智能和深度神经网络的不断发展,图像生成与编辑变得越来越容易,恶意运用图像生成工具进行篡改伪造的现象层出不穷,这对多媒体安全以及社会稳定造成了极大威胁,因此研究伪造人脸的检测方法至关重要。人脸篡改伪造的方式和工具多种多样,在篡改的过程中可能留下不同程度的篡改痕迹,而这在图像噪声中都有一定程度上的反映。从图像噪声的角度出发,通过噪声去除的方式挖掘反映伪造人脸篡改痕迹的噪声成分,进一步生成噪声注意力,指导主干网络进行伪造人脸检测。使用SRM滤波监督噪声去除模块的训练,并将噪声去除模块所得到的噪声再次加入真实人脸图像中,形成一对有监督的训练样本,通过自监督的方式对噪声去除模块进行加强指导,实验结果说明噪声去除模块得到的噪声特征具有较好的区分度。在多个公开数据集上进行了实验,所提方法在Celeb-DF数据集上达到98.32%的准确率,在FaceForensics++数据集上达到94%以上的准确率,在DFDC数据集上达到92.61%的准确率,证明了所提方法的有效性。     

基于动态阈值的帧复制粘贴篡改检测

帧复制粘贴是一种常见的时域篡改方式,篡改者采用这种方式来移除视频中某段内容,如犯罪现场、犯罪证据等.针对这种篡改,已经有不少方案被提出,但是它们有两个缺点：一采用固定的阈值;二时间复杂度很高.大部分被篡改视频会经过再压缩处理,由于视频压缩基本是有损压缩,可能会导致固定阈值失去应有作用.因此,本文提出一种基于动态阈值的被动取证算法,来增强算法的鲁棒性,并且通过引入字典排序算法来缩小帧匹配时的搜索范围,成功降低了时间复杂度.文章采用精确度、召回率和平均每帧计算时间来对提出算法的性能进行评估,结果表明本算法在这三方面都优于其他算法,而且具有更好的鲁棒性.     

基于光强信息的视频插帧篡改检测

提出一种基于光强信息的视频插帧篡改检测方法。对于一段连续拍摄的视频,通过视频帧序列的亮度连续性可以间接反映出拍摄场景的光照强度连续性。因此,对于一段遭遇帧插入篡改的视频,无论插入帧是否与原视频同源,只要是在不同时间点拍摄的,那么合成视频的场景光强信息特征将会出现不连贯,从而导致亮度不连续的特点。为此,根据光强信息的连续性特征,提取视频每一帧的多个光强信息,将每一帧的光强信息融合,得到光强信息序列,由序列特征得出检测结果。实验结果表明,该方法能够准确地检测一段视频是否经过帧插入合成。     

基于纹理特征的数字视频篡改检测

本文提出一种利用视频帧纹理特征来检测视频篡改的方法。对于一段背景静止或是运动缓慢连续变化的视频,相邻帧间的纹理特征相关性大,篡改后会一定程度上使其相关性变小,本文通过计算相邻帧灰度共生矩阵的相关性找出异常帧。该方法对视频格式无限制,适用于各种格式的视频。实验表明,该方法对相近背景下的异源帧插入、帧替换检测效果比较理想。     

基于双层注意力的Deepfake换脸检测

针对现有Deep fake检测算法中普遍存在的准确率低、可解释性差等问题,提出融合双层注意力的神经网络模型,该模型利用通道注意力捕获假脸的异常特征,并结合空间注意力聚焦异常特征的位置,充分学习假脸异常部分的上下文语义信息,从而提升换脸检测的有效性和准确性.并以热力图的形式有效地展示了真假脸的决策区域,使换脸检测模型具备...     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于灰度差分的新闻视频标题字幕探测

为实现新闻视频图像中标注文本的快速检测与定位,提出了一种有效的字幕定位方法。该方法通过灰度差分统计对视频帧中文字区域进行行定位,再利用行定位信息得到的子图像在垂直方向的投影进行列定位,最后对预处理结果进行过滤和合并得到文字区域定位的精确结果。实验结果表明：该方法效果良好,不受文字大小影响,不受图像背景复杂度限制,方便快捷。     

融合帧间差分与碰撞算法的快速跟踪预测算法

传统的运动目标跟踪预测算法难以保证机器人对高速运动目标的快速捕捉和提前预测,尤其是运动目标在滑行过程中发生碰撞改变了原有的运动方向,针对这一问题提出了基于帧间差分与碰撞算法相结合的运动目标跟踪预测算法.通过帧间差分法快速识别出平面内运动物体的具体位置和运动速度,根据其运动速度方向判别运动目标是否发生碰撞.当运动目标在运动过程中发生碰撞,采用LS-DYNA显示动力分析软件建立碰撞仿真模型,并用MATLAB拟合仿真数据得到碰撞算法,结合碰撞算法对运动目标的运动轨迹进行预测.结果表明以帧间差分和碰撞算法相结合的运动目标检测跟踪算法对于在平面内运动目标的跟踪预测方面速度更快,完全能够满足机器人对算法快速性的要求.     

基于帧间差分和边缘差分的遗留物检测算法

遗留物检测是智能视频监控系统的核心功能,遗留物一般较小,所处环境复杂,传统的运动目标检测算法直接用于遗留物检测效果一般.提出了一种基于帧间差分与边缘差分的遗留物检测算法,首先进行帧间差分得到运动目标区域,然后将当前帧图像和前一帧的背景图像进行边缘差分运算得到运动目标的边缘,融合二次差分的结果即可得到运动目标的完整轮廓特征,最终通过判断运动目标在场景中的滞留时间是否达到或超过报警系统设置的阈值来标示遗留物,供智能视频监控系统处理.实验结果证明该算法实时性好且识别率较高.     

一种基于运动目标的视频水印方法

提出一种基于视频中运动目标的自嵌入水印方法,可以实现在视频信息接收端对运动目标的无损恢复。为保证在水印嵌入前后获取的目标完全一致,给出一种新的运动目标提取方式,即使用近似于原始视频帧的合成帧来提取视频中的运动目标。实验结果表明,在视频未被篡改或在一定程度上被篡改的情况下,该方法可以实现运动目标的完全恢复,具有一定的可行性。     

视频突变检测的规范化灰度分布帧差方法

研究视频检索中的镜头突变检测问题,分析造成镜头突变检测中出现误检的原因,提出一种鲁棒的、适用于自适应阈值突变镜头检测方法的规范化灰度分布帧差的定义。实验表明,当视频图像中噪声较低时,采用规范化灰度分帧差定义,应用自适应取阈值的检测方法,对视频中镜头突变的检测有较高的准确率。     

融合视音频特征的影片摘要生成方法

提出了融合视音频特征的影片摘要生成算法。以特写人脸检测、紧张、激烈镜头检测作为选取重要视频片段的依据。针对影片语音端点难以检测的问题,利用影片字幕文件提取影片语音首尾时间以及语音内容,从而实现了影片语音端点的准确检测。实验证明,该方法生成的影片摘要具有较好的有效性。     

空时域联合差分检测可见光图像的运动小目标

可见光图像背景常常表现出时域和空域的双重相关特性。针对可见光图像背景下的运动小目标检测,提出了一种空时域联合差分的检测方法。以可见光图像序列模型为基础定性分析了目标、背景和噪声的基本特性和差异;在此基础上提出了空时域联合差分的背景抑制方法,结合流水线结构给出了一种实时性好的具体实现方案。实验结果证实了该方法的有效性。     

基于核回归方法的人脸检测技术

核回归法是一种非参数估计方法,其显著优点是：回归模型完全由数据驱动,无需信号具体形式。近些年来,有研究者将该方法应用在图像降噪和图像修补等方面,得到较好效果。在理解该方法原理的基础上,通过实验说明核回归方法在人脸检测技术方面也值得应用,而且效果较好。