多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积...     

基于目标变化的监控视频关键帧提取方法

监控视频关键帧提取技术作为监控视频分析的重要研究内容,能够有效地解决视频数据的高效存储和快速访问等问题。本文提出一种基于目标变化的监控视频关键帧提取方法,分析监控视频帧间的目标变化,并采用局部极大值优化方法将原监控视频划分成视频片段。最后,从每个视频片段中选取特征中心对应视频帧作为关键帧,并依据目标的属性删除冗余的关键帧得到最终的视频关键帧集合。实验结果表明,该方法所提取的视频关键帧冗余性较低,所包含的内容很具有代表性。同时,该方法的复杂度较低,适用于监控视频的关键帧提取工作。     

基于语义相关的视频关键帧提取算法

视频关键帧提取是视频摘要的重要组成部分,关键帧提取的质量直接影响人们对视频的认识。传统的关键帧提取算法大多都是基于视觉相关的提取算法,即单纯提取底层信息计算其相似度,忽略语义相关性,容易引起误差,同时也造成了一定的冗余。对此提出了一种基于语义的视频关键帧提取算法。该算法首先使用层次聚类算法对视频关键帧进行初步提取;然后结合语义相关算法对初步提取的关键帧进行直方图对比,去掉冗余帧,确定视频的关键帧;最后与其他算法比较,所提算法提取的关键帧冗余度相对较小。     

基于运动目标特征的关键帧提取算法

针对运动类视频特征不易提取且其关键帧结果中易产生较多漏检帧的问题,提出基于运动目标特征的关键帧提取算法。该算法在强调运动目标特征的同时弱化背景特征,从而防止由于运动目标过小而背景占据视频画面主要内容所导致的漏检和冗余现象。根据视频帧熵值将颜色变化明显的帧作为部分关键帧,对颜色未发生突变的帧根据运动物体的尺度不变特征变换（SIFT）获得帧内运动目标的特征点;最后分别根据帧熵值及运动物体SIFT点分布提取视频关键帧。实验表明该算法所得关键帧结果集不仅漏检率较低且能够准确地表达原视频内容。     

基于K均值聚类的视频关键帧提取技术研究

文章提出了一种基于k均值聚类的视频关键帧提取算法.该算法在视频的镜头分割算法之上,通过层次聚类对视频内容进行初步划分,之后结合k均值聚类算法对初步提取的关键帧进行直方图特征对比去掉冗余帧,最终确定视频的关键帧序列.经过大量的实验数据证明,该算法能够提取出冗余度较低、代表性较强的关键帧,一定程度上为视频关键帧提取提供了有...     

基于内容的视频拷贝检测研究

提出一种新的基于内容的视频拷贝检测方法,根据视频连续帧之间信息的冗余,提出关键帧提取算法,对提取的关键帧做DCT变换,并将AC系数的有序测度作为关键帧的特征,计算视频关键帧之间的L1距离作为视频之间的相似度度量。实验表明该方法对抗几种不同的几何攻击有较好的效果。     

基于视频聚类的关键帧提取算法

关键帧可以有效减少视频索引的数据量,是分析和检索视频的关键。在提取关键帧过程中,为了解决传统聚类算法对初始参数敏感的问题,提出了一种改进的基于视频聚类的关键帧提取算法。首先,提取视频帧的特征,依据帧间相似度,对视频帧进行层次聚类,并得到初始聚类结果;接着使用K-means算法对初始聚类结果进行优化,最后提取聚类的中心作为视频的关键帧。实验结果表明该方法可以大幅提高关键帧的准确率和查全率,能较好地表达视频的主要内容。     

基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

多帧时空注意力引导的半监督视频分割

目的 传统的半监督视频分割多是基于光流的方法建模关键帧与当前帧之间的特征关联。而光流法在使用过程中容易因遮挡、特殊纹理等情况产生错误,从而导致多帧融合存在问题。为了更好地融合多帧特征,本文提取第1帧的外观特征信息与邻近关键帧的位置信息,通过Transformer和改进的PAN（path aggregation network）模块进行特征融合,从而基于多帧时空注意力学习并融合多帧的特征。方法 多帧时空注意力引导的半监督视频分割方法由视频预处理（即外观特征提取网络和当前帧特征提取网络）以及基于Transformer和改进的PAN模块的特征融合两部分构成。具体包括以下步骤：构建一个外观信息特征提取网络,用于提取第1帧图像的外观信息;构建一个当前帧特征提取网络,通过Transformer模块对当前帧与第1帧的特征进行融合,使用第1帧的外观信息指导当前帧特征信息的提取;借助邻近数帧掩码图与当前帧特征图进行局部特征匹配,决策出与当前帧位置信息相关性较大的数帧作为邻近关键帧,用来指导当前帧位置信息的提取;借助改进的PAN特征聚合模块,将深层语义信息与浅层语义信息进行融合。结果 本文算法在DAVIS（densely annotated video segmentation）-2016数据集上的J和F得分为81.5%和80.9%,在DAVIS-2017数据集上为78.4%和77.9%,均优于对比方法。本文算法的运行速度为22帧/s,对比实验中排名第2,比PLM（pixel-level matching）算法低1.6%。在YouTube-VOS（video object segmentation）数据集上也取得了有竞争力的结果,J和F的平均值达到了71.2%,领先于对比方法。结论 多帧时空注意力引导的半监督视频分割算法在对目标物体进行分割的同时,能有效融合全局与局部信息,减少细节信息丢失,在保持较高效率的同时能有效提高半监督视频分割的准确率。     

基于镜头内容变化率的关键帧提取算法

针对含有运动目标的视频采用单一阈值提取关键帧时易出现漏检或冗余的情况,提出基于镜头内容变化率的关键帧提取算法。根据镜头相邻帧差和与镜头平均邻帧差的变化特点定义镜头内容变化率,由该变化率确定关键帧提取的高、低阈值,实现自动提取一到多帧关键帧。实验结果表明,该变化率对视频帧的内容变化有较好的描述能力,提取的关键帧具有很好的代表性。     

Key Frame Extraction of Surveillance Video based on Moving Object Detection and Image Similarity

For the traditional method to extract the surveillance video key frame, there are problems of redundant information, substandard representative content and other issues. A key frame extraction method based on motion target detection and image similarity is proposed in this paper. This method first uses the ViBe algorithm fusing the inter-frame difference method to divide the original video into several segments containing the moving object. Then, the global similarity of the video frame is obtained by using the peak signal to noise ratio, the local similarity is obtained through the SURF feature point, and the comprehensive similarity of the video image is obtained by weighted fusion of them. Finally, the key frames are extracted from the critical video sequence by adaptive selection threshold. The experimental results show that the method can effectively extract the video key frame, reduce the redundant information of the video data, and express the main content of the video concisely. Moreover, the complexity of the algorithm is not high, so it is suitable for the key frame extraction of the surveillance video.     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

基于RS的关键帧提取仿真研究

研究视频图像中关键图像提取问题,视频图像传输采集效率低,且易造成资源浪费。针对传统的视频图像关键帧技术,都是以图像中的关键特征为提取依据的。当关键图像中特征不明显或者与非关键图像特征重复时,由于特征的关键帧图像提取就会发生错误,导致算法错误率和漏检率高。为解决上述问题,提出一种基RS理论的关键帧提取算法,首先提取图像DCT系数,利用RS理论的属性约简产生信息系统的核,对应到视频即为关键帧,避免了传统方法对图像关键特征的依赖。实验结果表明,算法可以提高关键帧提取的准确性和提取效率,为快速提取提供了依据。     

Video super-resolution reconstruction method based on deep Back projection and motion feature fusion

How to effectively utilize inter-frame redundancies is the key to improve the accuracy and speed of video super-resolution reconstruction methods. Previous methods usually process every frame in the whole video in the same way, and do not make full use of redundant information between frames, resulting in low accuracy or long reconstruction time. In this paper, we propose the idea of reconstructing key frames and non-key frames respectively, and give a video super-resolution reconstruction method based on deep back projection and motion feature fusion. Key-frame reconstruction subnet can obtain key frame features and reconstruction results with high accuracy. For non-key frames, key frame features can be reused by fusing them and motion features, so as to obtain accurate non-key frame features and reconstruction results quickly. Experiments on several public datasets show that the proposed method performs better than the state-of-the-art methods, and has good robustness.

     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于改进分块颜色特征和二次提取的关键帧提取算法

关键帧提取技术是视频摘要、检索、浏览和理解中的一项重要技术。目前关键帧提取算法存在一些问题,例如特征选择复杂、阈值选择难、自适应性不强等。为了更有效地提取视频关键帧,提出了一种基于改进分块颜色特征和二次提取的关键帧提取算法。首先,对视频帧进行等面积矩形环划分;其次,提取矩形环的HSV量化颜色特征,并由帧图像中心到外依次减小每个矩形环特征的权值以突出图像主体部分;然后,依据相邻视频帧间特征的显著性变化初步选取关键帧;最后,依据初次提取的关键帧在视频中的位置间隔大小进行二次提取优化关键帧。实验结果表明,该方法具有良好的适应性,同时能够有效避免因镜头有突然闪光或物体快速运动而提取过多的关键帧,最终提取的关键帧能够比较全面准确地表达视频内容。     

基于基线的视频维吾尔文字幕帧提取研究

根据维吾尔文字独有的基线特性,提出了一种新的视频维吾尔文字幕帧提取方法,首先进行维吾尔文字幕帧的读取,然后根据相邻帧之间的像素帧间差异和区域像素统计对视频段作初步镜头关键帧的检测,之后对检测到的镜头关键帧作区域处理,检测视频帧中是否具有基线特性,再根据基线设置阈值,最后提取出代表视频语义的主要视频帧。实验证明:该提取方法简洁有效,其字幕帧提取率平均可达到85%以上。