基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

基于i_ResNet34模型和数据增强的深度伪造视频检测方法

针对深度伪造视频检测存在的面部特征提取不充分的问题,提出了改进的ResNet(i_ResNet34)模型和3种基于信息删除的数据增强方式.首先,优化ResNet网络,使用分组卷积代替普通卷积,在不增加模型参数的前提下提取更丰富的人脸面部特征;接着改进模型虚线残差结构的shortcut分支,通过最大池化层完成下采样操作,减少视频帧中人脸面部特征信息的损失,然后在卷积层后引入通道注意力层,增加提取关键特征通道的权重,提升特征图的通道相关性.最后,利用i_ResNet34模型对原数据集及3种基于信息删除的数据增强方式扩充后的数据集进行训练,其在FaceForensics++的两类数据集Face-Swap和Deepfakes上的检测准确率分别达到了99.33％和98.67％,优于现有的主流算法,从而验证了所提方法的有效性.     

基于超分辨率重建的低质量视频人脸识别方法

随着深度神经网络的兴起,人脸识别技术得到了飞速发展.但在光照条件差、低分辨率等情况下的低质量视频S2V(Still to Video)人脸识别由于存在低质量测试视频与样本库高清图像的异质匹配问题,仍然没有达到预期的效果.针对这个问题,提出一种基于超分辨率重建的低质量视频人脸识别方法.首先根据人脸姿态对低质量视频帧采用聚类算法和随机算法选取关键帧,然后建立一个面向低质量视频S2 V人脸识别的超分辨率重建模型S2 V-SR,对关键帧进行超分辨率重建,从而获得高分辨率且更多身份特征的超分辨率关键帧,最后使用视频人脸识别网络提取深度特征进行分类投票,得到最终的人脸识别结果.所提方法在COX视频人脸数据集上进行实验测试,在相对较高质量的cam1和cam3视频中获得了最好的识别准确率,即55.91％和70.85％,而在相对较低质量的cam2视频中获得了仅次于最好方法的识别准确率.实验结果证明,所提方法能够在一定程度上解决S2 V人脸识别中异质匹配的问题,并且能够获得较高的识别准确性和稳定性.     

基于集成学习双流神经网络的实时面部篡改视频检测模型

恶意面部篡改对社会安全和稳定存在负面影响，对面部篡改后的视频图像进行准确的检测是一个十分重要的课题。为了解决视频检测模型实时性较差的问题，提出一种基于集成学习双流循环神经网络的面部篡改视频检测模型，并引入集成学习中的投票机制。首先，接收少量连续的序列帧，通过卷积神经网络进行空间特征的提取，同时引入中心差分卷积进行空间域的篡改伪影增强。然后，将连续的序列帧进行差分，以增强时间域上的篡改伪影，同时通过卷积神经网络进行时间特征的提取。随后，将空间域和时间域的双流特征向量进行拼接，通过循环神经网络进行特征提取。在循环神经网络特征提取过程中，逐帧的特征信息被保留下来作为后续辅助帧级分类器的输入，同时循环神经网络的最终输出作为视频级判别器的输入。最后，引入集成模型的投票机制整合多个辅助帧级判别器和视频级判别器的输出，并通过引入权重超参数γ来平衡辅助帧级判别器和视频级判别器的重要程度，帮助模型提高检测准确率。在FaceForensics++数据集上，与主流检测模型进行对比，所提模型平均准确率提升了0.4%和1.0%。同时，所提模型可以仅使用较少连续帧进行篡改检测，提高了模型的实时性。     

基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题,提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先,采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合,通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量。然后,采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...     

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降.针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法.首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征.在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法.     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

一种道路车辆监控视频中的关键帧提取方法

针对道路监控视频中特定车辆图像序列的关键帧提取问题,在运动对象检测的基础上,提出一种关键帧提取方法。将积分通道特征和面积特征作为图像特征描述子,结合Ada Boost训练分类器,实现道路监控视频车辆序列图像中关键帧的提取。通过运动对象前景检测技术获得出现在监控区域的运动车辆最小外接矩形图像序列,选择满足监控分析需求(车牌清晰度高,能判断车型)的若干帧作为正样本,其他不满足监控分析需求的作为负样本,提取样本图像的面积特征和积分通道特征,利用Ada Boost方法训练得到一个分类器,使用Ada Boost分类器对测试样本进行分类,根据打分规则提取关键帧。实验结果表明,该方法能提取运动车辆从进入到离开监控区域的序列图像帧中最清晰的图像,实现道路车辆监控视频分析数据的有效压缩。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于形态学的高斯模型和八邻域帧差法混合运动目标检测算法

针对视频中运动目标的提取问题,提出一种基于形态学的高斯模型和八邻域帧差法相融合的提取算法。该算法首先将视频中某些帧转化为灰度图,建立以混合高斯分布为基础的统计模型,并结合八邻域帧差法提取出运动目标的大致轮廓,然后利用自适应更新的高斯模型算法进行精确的减除,最后再进行形态学处理,从而使检测出的运动目标更加清晰完整。实验结果表明,该算法对含有低速运动物体、阴影较多的视频提取效果较好,具有很好的鲁棒性。     

基于RS的关键帧提取仿真研究

研究视频图像中关键图像提取问题,视频图像传输采集效率低,且易造成资源浪费。针对传统的视频图像关键帧技术,都是以图像中的关键特征为提取依据的。当关键图像中特征不明显或者与非关键图像特征重复时,由于特征的关键帧图像提取就会发生错误,导致算法错误率和漏检率高。为解决上述问题,提出一种基RS理论的关键帧提取算法,首先提取图像DCT系数,利用RS理论的属性约简产生信息系统的核,对应到视频即为关键帧,避免了传统方法对图像关键特征的依赖。实验结果表明,算法可以提高关键帧提取的准确性和提取效率,为快速提取提供了依据。     

A framework for automatic static and dynamic video thumbnail extraction

Video thumbnails enable users to see quick snapshots of video collections. To display the video thumbnails, the first frame or a frame selected by using simple low level features in each video clip has been set to the default thumbnail for the sake of computational efficiency and implementation simplicity. However, such methods often fail to represent the gist of the clip. To overcome this limitation, we present a new framework for both static and dynamic video thumbnail extraction. First, we formulate energy functions using the features which incorporate mid-level information to obtain superior thumbnailing. Since it is considered that frames whose layouts are similar to others in the clip are relevant in video thumbnail extraction, scene layouts are also considered in computing overall energy. For dynamic thumbnail generation, a time slot is determined by finding the duration showing the minimum energy. Experimental results show that the proposed method achieves comparable performance on a variety of challenging videos, and the subjective evaluation demonstrates the effectiveness of our method.     

针对用户兴趣的视频精彩片段提取

目的 视频精彩片段提取是视频内容标注、基于内容的视频检索等领域的热点研究问题。视频精彩片段提取主要根据视频底层特征进行精彩片段的提取,忽略了用户兴趣对于提取结果的影响,导致提取结果可能与用户期望不相符。另一方面,基于用户兴趣的语义建模需要大量的标注视频训练样本才能获得较为鲁棒的语义分类器,而对于大量训练样本的标注费时费力。考虑到互联网中包含内容丰富且易于获取的图像,将互联网图像中的知识迁移到视频片段的语义模型中可以减少大量的视频数据标注工作。因此,提出利用互联网图像的用户兴趣的视频精彩片段提取框架。方法 利用大量互联网图像对用户兴趣语义进行建模,考虑到从互联网中获取的知识变化多样且有噪声,如果不加选择盲目地使用会影响视频片段提取效果,因此,将图像根据语义近似性进行分组,将语义相似但使用不同关键词检索得到的图像称为近义图像组。在此基础上,提出使用近义语义联合组权重模型权衡,根据图像组与视频的语义相关性为不同图像组分配不同的权重。首先,根据用户兴趣从互联网图像搜索引擎中检索与该兴趣语义相关的图像集,作为用户兴趣精彩片段提取的知识来源;然后,通过对近义语义图像组的联合组权重学习,将图像中习得的知识迁移到视频中;最后,使用图像集中习得的语义模型对待提取片段进行精彩片段提取。结果 本文使用CCV数据库中的视频对本文提出的方法进行验证,同时与多种已有的视频关键帧提取算法进行比较,实验结果显示本文算法的平均准确率达到46.54,较其他算法相比提高了21.6%,同时算法耗时并无增加。此外,为探究优化过程中不同平衡参数对最终结果的影响,进一步验证本文方法的有效性,本文在实验过程中通过移除算法中的正则项来验证每一项对于算法框架的影响。实验结果显示,在移除任何一项后算法的准确率明显降低,这表明本文方法所提出的联合组权重模型对提取用户感兴趣视频片段的有效性。结论 本文提出了一种针对用户兴趣语义的视频精彩片段提取方法,根据用户关注点的不同,为不同用户提取其感兴趣的视频片段。     

非合作面部晃动情况下的心率检测

目的 心率是直接反映人体健康的重要指标之一,基于视频的非接触式心率检测在医疗健康领域具有广泛的应用前景。然而,现有的基于视频的方法不适用于复杂的现实场景,主要原因是没有考虑视频中目标晃动干扰和空间尺度特征,使得血液容积脉冲信号提取不准确,检测精度不尽人意。为了克服以上缺陷,提出一种抗人脸晃动干扰的非接触式心率检测方法。方法 本文方法主要包含3个步骤：首先,针对目标晃动干扰人脸区域选择的问题,利用判别响应图拟合检测参考图像的人脸区域及主要器官特征点,在人脸跟踪时首次引入倾斜校正思想,输出晃动干扰抑制后的人脸视频;然后,结合空间尺度的差异,采用颜色放大方法对晃动干扰抑制后的人脸视频进行时空处理,提取干净的血液容积脉冲信号;最后,考虑到小样本问题,通过傅里叶系数迭代插值的频域分析方法估计心率。结果 在人脸静止的合作情况以及人脸晃动的非合作情况下采集视频,对心率检测结果进行定量分析,本文方法在两种情况下的准确率分别为97.84%和97.30%,与经典和最新的方法相比,合作情况准确率提升大于1%,非合作情况准确率提升大于7%,表现了出色的性能。结论 提出了一种基于人脸视频处理的心率检测方法,通过有效分析人脸的晃动干扰和尺度特性,提取到干净的血液容积脉冲信号,提高了心率检测的精度和鲁棒性。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

集成视频监控的IC卡消费系统研究

为了提高传统IC卡消费的安全性,提出将视频监控技术应用到IC卡消费中,在消费时视频监控记录消费的全过程,并与消费数据建立联系.对监控采集到的视频进行镜头检测,提取关键帧,计算特征值,关键帧聚类,并与视频建立索引.用户可以通过消费数据或提交图像进行视频检索,在一定程度上保证了消费的安全性.系统采用基于RIA的Flex技术...     

基于峭度图像的视频指纹算法

为解决网络视频的非法拷贝问题,提出一种基于峭度图像的视频指纹算法。对视频片段进行预处理后,利用均匀分布的随机变量提取关键帧以及关键帧的峭度图像,并对峭度图像进行离散余弦变换(DCT),采用较大的DCT系数构造视频指纹,在视频指纹的匹配过程中,通过滑动窗的方法对不同长度的指纹进行匹配,从而达到视频认证的目的。实验结果证明,该算法提取的视频指纹在常见视频攻击下误码率均小于10%。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

压缩视频流关键帧快速抽取方法

关键帧获取是视频内容分析的前提。目前的视频关键帧提取算法往往需要经过较多的计算才能确定,不适合海量视频数据处理的需求。面对互联网数据流的监控应用,分析了MPEG压缩视频流的特点,提出了一种新的关键帧快速抽取方法。该方法考虑了所抽取关键帧的覆盖面和视频动态性检测的需要,根据视频长度抽取多段关键帧,段首帧反馈定位,段内按稀疏系数抽取。通过视频库和IDC机房网络数据流的检测实验表明,提出的方法是快速有效的,能较好地应用于高速网络的视频监控中。