多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积...     

采用量化离散余弦变换系数检测视频单帧连续多次复制粘贴篡改

目前大多数时域视频帧复制粘贴篡改检测算法都是针对至少20帧以上的视频子序列的复制粘贴篡改,而对单帧复制粘贴篡改无法判断。而根据人眼视觉感知的特性,修改视频内容需要至少15帧以上的帧操作,因此篡改帧想通过单帧复制粘贴篡改来达到想要的效果,必须进行连续多次粘贴操作。为了检测这种篡改方式,针对性地提出了一种基于量化离散余弦变换(DCT)系数的视频单帧连续多次复制-粘贴篡改检测算法。首先,将视频转换为图像,采用量化后的DCT系数作为视频帧图像特征向量,并通过计算巴氏(Bhattacharyya)系数来衡量两相邻帧帧间相似度;再设定阈值来判断两相邻帧帧间相似度是否有异常,最后根据出现相似度异常的帧是否连续,以及连续出现的帧数来判断视频是否经过篡改,并定位篡改位置。实验结果表明,所提算法对不同场景的视频都能检测,不仅检测速度快,而且不受再压缩因素影响,算法的正确率高、漏检率低。     

基于压缩感知的视频异源篡改检测

考虑到视频序列固有噪声特征的特点,提出一种基于压缩感知的视频异源篡改检测算法。提取视频中每帧图像的噪声信息并建立噪声矩阵,通过引入压缩感知理论对噪声矩阵进行压缩,极大地降低每帧图像噪声信息的冗余度,对压缩噪声矩阵使用[cos]相似性衡量,得到帧图像间的相似度矩阵,并构造篡改度量,利用参数模型对视频的异源篡改图像进行检测。实验表明提出算法能以较小的压缩比对视频序列中的异源篡改位置进行有效检测,并得到比现有两种算法更高的篡改检测准确率。     

同源视频Copy-Move篡改检测及恢复

针对同源视频序列的copy-move篡改方式, 提出一种通过度量图像内容间的相关性, 来实现对视频序列的copy-move篡改检测并恢复的方法. 首先将视频帧内容转化为一系列连续的图像帧, 对图像分块, 提取每帧图像的8个特征矢量, 再利用欧氏距离计算帧间相关性, 并通过添加偏差矩阵构造动态偏差阈值, 检测出copy-move篡改序列且精确至帧, 从而实现对视频序列的篡改检测与恢复. 实验表明, 该算法对同源视频序列的copy-move篡改检测及恢复能够取得理想的效果.     

基于纹理特征的数字视频篡改检测

本文提出一种利用视频帧纹理特征来检测视频篡改的方法。对于一段背景静止或是运动缓慢连续变化的视频,相邻帧间的纹理特征相关性大,篡改后会一定程度上使其相关性变小,本文通过计算相邻帧灰度共生矩阵的相关性找出异常帧。该方法对视频格式无限制,适用于各种格式的视频。实验表明,该方法对相近背景下的异源帧插入、帧替换检测效果比较理想。     

基于光流周期特性的视频帧率上转篡改检测

视频帧率上转是视频时域篡改的一种常见篡改手段,它通过周期性地在两个视频帧中间插入中间帧的方式,实现将视频由低帧率转换到高帧率的目标.本文提出了一种基于光流周期特性的视频帧率上转篡改检测算法,首先将视频转为帧图像序列,然后采用Horn-Schunck光流法计算每帧图像每个像素点的光流矢量,并计算相邻帧图像光流的变化率.最后利用快速傅里叶变换对光流变化率数据进行频谱分析,根据最高谱线的幅值与平均幅值的比值阈值来判别视频是否经过篡改.实验表明,算法不仅能够准确识别待测视频是否经过帧率上转篡改,并且提高了视频压缩的鲁棒性能,具有一定的实际应用价值.     

面向人脸修复篡改检测的大规模数据集

目的 图像合成方法随着计算机视觉的不断发展和深度学习技术的逐渐成熟为人们的生活带来了丰富的体验。然而,用于传播虚假信息的恶意篡改图像可能对社会造成极大危害,使人们对数字内容在图像媒体中的真实性产生怀疑。面部编辑作为一种常用的图像篡改手段,通过修改面部的五官信息来伪造人脸。图像修复技术是面部编辑常用的手段之一,使用其进行面部伪造篡改同样为人们的生活带来了很大干扰。为了对此类篡改检测方法的相关研究提供数据支持,本文制作了面向人脸修复篡改检测的大规模数据集。方法 具体来说,本文选用了不同质量的源数据集（高质量的人脸图像数据集CelebA-HQ及低质量的人脸视频数据集FF++）,通过图像分割方法将面部五官区域分割,最后使用两种基于深度网络的修复方法CTSDG（image inpainting via conditional texture and structure dual generation）和RFR（recurrent feature reasoning for image inpainting）以及一种传统修复方法SC（struct completion）,生成总数量达到60万幅的大规模修复图像数据集。结果 实验结果表明,由FF++数据集生成的图像在基准检测网络ResNet-50下的检测精度下降了15%,在Xception-Net网络下检测精度下降了5%。且不同面部部位的检测精度相差较大,其中眼睛部位的检测精度最低,检测精度为0.91。通过泛化性实验表明,同一源数据集生成的数据在不同部位的修复图像间存在一定的泛化性,而不同的源数据制作的数据集间几乎没有泛化性。因此,该数据集也可为修复图像之间的泛化性研究提供研究数据,可以在不同数据集、不同修复方式和不同面部部位生成的图像间进行修复图像的泛化性研究。结论 基于图像修复技术的篡改方式在一定程度上可以骗过篡改检测器,对于此类篡改方式的检测方法研究具有现实意义。提供的大型基于修复技术的人脸篡改数据集为该领域的研究提供了新的数据来源,丰富了数据多样性,为深入研究该类型的人脸篡改和检测方法提供了有力的基准。数据集开源地址https://pan.baidu.com/s/1-9HIBya9X-geNDe5zcJldw?pwd=thli。     

基于多尺度互信息量的数字视频帧篡改检测

针对单镜头视频时域篡改问题,提出一个以内容相似性为基础的视频篡改被动盲检测算法。通过高斯金字塔变换获得视频帧的3种尺度视觉内容,根据信息论定义相邻两帧的归一化平均互信息,采用线性组合构建多尺度归一化互信息描述子,实现相邻两帧多尺度视觉内容相似性的度量。利用局部离群点检测算法计算视觉内容相似性异常度,使用阈值法检测视频篡改位置。实验结果表明,该算法不仅能有效地检测出视频帧删除、复制以及插入3种篡改的位置,而且适用于不同编码格式视频间和同源的篡改。在检准度和检全率上优于现有的时域篡改检测算法。     

边缘异常识别下视频图像篡改细节检测

视频图像不同栅格位置或不同压缩区域被合成为篡改图像时会出现特征块效应的差异,改变原视频的关键信息。为了准确识别图像中被篡改的像素点,提出基于边缘异常识别的视频图像篡改检测方法。通过离散余弦变换,将能量全部集中到图像的低频系数内,描述出视频的边缘等细节。利用能量比与频域熵间关系得出图像中能量的可疑度,结合预测掩膜概率图划分出发生篡改的位置区域。利用Sobel边缘检测边缘点,量化边缘点特征判断出边缘是否异常,当出现异常对其跟踪直至目标消失,检测出视频图像中的篡改位置区域。实验结果表明,所提方法能够精准检测出视频图像被篡改位置,且耗时低于1ms,应用优势显著。     

基于级联支持向量机融合多特征的人脸检测

人脸图像中包含丰富的特征信息,不同特征具有其各自的优势。基于此,提出一种基于级联支持向量机有效融合多种特征的人脸检测算法。该算法首先利用肤色模型对待检图像进行预处理,筛选出疑似人脸区域。然后在疑似区域中提取图像的HOG(Histogram of Oriented Gradients)和LBP(Local Binary Patterns)特征,并分别对这两种特征集进行特征选择,训练两个SVM(Support Vector Machine)分类器,最后将两个SVM分类器级联起来实现人脸检测。在多个人脸图像数据库上的实验结果表明,该人脸检测算法提高了人脸检测率,降低了误检率,并且对多种光照条件、姿态、表情以及部分遮挡的情况都具有较好的鲁棒性。     

基于Shamir秘密共享方案的文件图像篡改检测和修复方法

提出了一种新的基于Shamir秘密共享方案的文件图像篡改检测和修复方法,该方法包含篡改保护生成和篡改检测修复2个过程.在篡改保护生成过程中,为了提高已有文件图像篡改检测和修复方法的篡改检测正确率和修复效果,首先提出了基于权重的篡改检测信号生成方法,对每个非重叠2×3图像块提取图像块特征,再利用Shamir秘密共享方案将块特征和块内容序列值生成用于块篡改检测和修复的共享信息,最后将块共享信息构成的α通道与原始图像组成可移植网络图形格式(portable network graphic format, PNG)的文件图像.在篡改检测过程中,α通道提取的共享信号可以判断图像块是否被篡改,并可以通过Shamir秘密共享方案反向操作修复篡改图像块的内容.实验表明所提方法不仅具有良好的篡改检测和修复效果,同时具有良好的鲁棒性,能抵抗图像裁剪、噪声攻击.     

面向图像篡改取证的多特征融合U形深度网络

随着图像篡改工具的智能化发展,图像篡改不再局限于拼接、移除等某一具体的类型,往往包含多种篡改类型及其组合操作,使得图像篡改取证工作更具挑战性。提出一种端到端的多特征融合U形深度网络,利用编解码网络提取篡改区域与真实区域之间的对比度差异、边缘差异等篡改痕迹,并使用富隐写模型卷积层获取伪造图像的噪声分布不规律信息,从而在无预处理的情况下实现可疑区域的检测并分割出高置信度的篡改区域。在此基础上,使用特征提取模块获取融合的篡改特征,在融合定位模块中利用分级监督策略融合不同分辨率提取的篡改特征,以准确定位篡改区域,实现篡改区域检测与像素级的分割。实验结果表明,基于所提网络的图像篡改取证方法在NIST16和CASIA数据库上的F1值分别为0.841和0.605,与基于MFCN、RGB-N、MANTRA-net等网络的图像篡改取证方法相比,有较优的检测性能和较高的实时性,且对JPEG压缩、缩放等处理具有更强的鲁棒性。     

利用运动矢量进行视频篡改检测

随着高质量的数字摄像机和功能复杂的视频编辑软件的出现,对视频进行恶意篡改已变得越来越容易;同时迅速庞大的视频数据也使得利用计算机自动检测恶意篡改的需求日益迫切.针对视频恶意篡改的特点并利用帧间内容的连续性,提出通过统计视频帧间预测的运动矢量,检测视频是否被恶意篡改.首先,提取各P帧的运动矢量幅度;然后利用滑动窗口、计算窗口中各运动矢量幅度与窗口中的幅度均值的距离.由于篡改点处运动矢量的幅度与所属窗口均值的偏移较大,从而能够有效检测出篡改及其位置.同时通过改变图像组大小进行再压缩,可以进一步降低漏检概率.实验表明所提方法能够有效地检测出视频在时间轴上的篡改.     

Combining appearance and motion for face and gender recognition from videos

While many works consider moving faces only as collections of frames and apply still image-based methods, recent developments indicate that excellent results can be obtained using texture-based spatiotemporal representations for describing and analyzing faces in videos. Inspired by the psychophysical findings which state that facial movements can provide valuable information to face analysis, and also by our recent success in using LBP (local binary patterns) for combining appearance and motion for dynamic texture analysis, this paper investigates the combination of facial appearance (the shape of the face) and motion (the way a person is talking and moving his/her facial features) for face analysis in videos. We propose and study an approach for spatiotemporal face and gender recognition from videos using an extended set of volume LBP features and a boosting scheme. We experiment with several publicly available video face databases and consider different benchmark methods for comparison. Our extensive experimental analysis clearly assesses the promising performance of the LBP-based spatiotemporal representations for describing and analyzing faces in videos.     

数字视频区域篡改的检测与定位

目的 数字视频区域篡改是指视频帧图像的某个关键区域被覆盖或被替换,经过图像编辑和修补之后,该关键区域的修改痕迹很难通过肉眼来分辨。视频图像的关键区域承载了视频序列的关键语义信息。如果该篡改操作属于恶意的伪造行为,将产生非常严重的影响和后果。因此,视频区域篡改的检测与定位研究具有重要的研究价值和应用前景。方法 数字图像的复制粘贴篡改检测已经取得较大的研究进展,相关研究成果也很多。但是,数字视频区域篡改的检测与定位不能直接采用数字图像的复制—粘贴篡改取证算法。数字视频区域篡改检测与定位是数字视频被动取证研究领域中的一个新兴的研究方向,近年来越来越多的学者在该领域开展研究工作。目前,数字视频的区域篡改检测与定位研究还缺少完善的理论支撑和通用的检测与定位算法。在广泛调研最近几年的最新研究成果的基础上,对数字视频区域篡改的被动取证概念及重要性进行了介绍,将现有的数字视频区域篡改被动取证算法分为4类：基于噪声模式的算法、基于像素相关性的算法、基于视频内容特征的算法和基于抽象统计特征的算法。然后,对这些区域篡改检测与定位的算法进行对比分析,并介绍现有的视频区域篡改软件和算法,以及篡改检测算法的测试数据库。最后,对本研究领域存在的问题和挑战进行总结,并对未来的研究趋势进行展望。结果 选取了20篇文献中的18种算法,分别介绍每种算法的算法原理,并对这些算法进行对比分析。大部分的算法都宣称可以检测并定位出篡改可疑区域,但是检测和定位的精度、计算复杂度都各有差异。其中,基于时空域的像素相关性分析的算法具有较好的检测和定位效果,并且支持运动背景视频中的运动目标删除篡改检测和定位。基于光流平滑性异常的算法和基于运动目标检测的算法都是基于公开的视频篡改测试库进行比较测试的,两种算法都具有较好的检测和定位效果。基于隐写分析特征提取的集成分类算法虽然只能实现时域上的篡改定位,不能实现更精细的空域篡改定位,但是该算法为基于机器学习的大规模视频篡改取证研究提供了新思路和可能的发展方向,具有较大的指导意义。结论 由于视频编码压缩引入噪声,以及视频区域篡改软件工具和技术的改进,视频区域篡改检测和定位仍是一个极具挑战的课题。未来几年,基于视频内容特征和抽象统计特征的视频区域篡改检测和定位算法,有可能结合深度学习算法,得到进一步的研究和发展;相关的理论算法、系统模型和评价标准等研究成果将逐步完善。     

边缘与区域不一致性引导下的图像拼接篡改检测网络

目的 针对已有图像拼接篡改检测方法中存在的真伪判断分类精度不高、拼接篡改区域定位不准确问题，本文设计了一种篡改边缘两侧和篡改区域内外不一致性引导下的重点关注篡改区域与篡改边缘的图像拼接篡改检测卷积神经网络。方法 图像内容在篡改过程中，拼接物体的边缘都会留下篡改痕迹，这是图像拼接篡改检测的重要线索。因此，本文设计了一条篡改边缘提取分支，通过学习拼接物体边缘两侧的不一致性，重点提取拼接篡改区域的边缘轮廓。考虑到篡改边缘像素点过少会导致网络难以收敛，提出一个边缘加粗策略，形成一个边缘加粗的"甜甜圈"，使得篡改边缘提取结果更具完整性。在不同图像采集过程中，所用相机设备和光线条件等因素不同，导致每幅图像包含的信息也不尽相同。对此，设计了一条篡改区域定位分支，重点学习来自不同图像拼接区域与周围区域之间不一致性的差异化特征，并将注意力机制引入图像拼接篡改检测的篡改区域定位分支，进一步提高对拼接篡改区域的学习关注程度。面向真伪判断设计了一条图像是否经过拼接篡改的二分类网络分支，不但可以快速有效地给出输入图像是否为篡改图像的判断结果，而且可以与上述两条分支的输出结果一起提供给用户，由用户结合视觉语义信息进行综合判断。结果 本文算法与已有的4个代表性方法在4个专业数据集上进行算法实验和性能比较。在真伪判断分类的精确度方面，在Dresden、COCO（common objects in context）、RAISE（a raw images dataset for digital image forensics）和IFS-TC（information forensics and security technical committee）数据集上分别提高了8.3%、4.6%、1.0%和1.0%；在篡改区域定位的准确度方面，F1评分与重叠度IOU（intersection over union）指标较已有方法分别提升了9.4%和8.6%。结论 本文算法将真伪判别分类、篡改区域定位和篡改边缘提取融合在一起，互相促进，较大提升了各分支任务的性能表现，在图像拼接篡改检测方面取得了优于已有方法的效果，为数字图像取证技术领域的研究工作拓展了思路。     

数字音频篡改被动检测研究综述

数字音频篡改被动检测是指不依赖任何预先嵌入的信息来鉴别数字音频真伪的技术,其最主要研究内容是判定数字音频的真实性和完整性,在司法取证、新闻公正、知识产权保护等领域有着广泛的应用前景。目前领域内相关综述主要从数字音频主动、被动取证总体框架开展,并未专门针对数字音频篡改被动取证研究进行系统全面总结,且涉及被动取证部分存在时效性不足的问题。据此首先总结了数字音频篡改被动检测的任务模型和取证框架,接着依据篡改手段、检测策略、所使用的统计特征及模型,将目前的数字音频篡改被动检测方法分为四类：基于篡改操作的检测方法、基于数字音频重压缩的检测方法、基于录音设备和音频录制环境的检测方法、基于数字音频信号自身统计特性的检测方法,然后分析了每种方法所采用的典型算法和扩展手段,并对不同检测算法进行性能比较,然后对这四类方法的检测特点和使用范围进行总结。最后综合近年来国内外研究人员的主要成果,总结了数字音频篡改被动检测研究面临的问题和挑战,并对未来的研究进行了展望。     

基于视频感知哈希的视频篡改检测与多粒度定位

为了对被篡改过的视频进行准确快速的篡改检测与定位,引入人类视觉可计算模型,提出一种多层次、多粒度的视频篡改快速检测与定位算法.采用随机分块采样技术,提取视频结构感知特征及视频图像时域感知特征,利用哈希理论的单向摘要特性量化感知特征,获取视频摘要哈希.通过应用相似度矩阵进行多粒度、多层次篡改部位检测与定位.实验结果表明,相似度拟合图能够体现视频篡改攻击强度和攻击部位,算法表现出更好的篡改检测准确率与定位精确度.