基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

可怕的AI换脸软件

视频AI换脸大家应该都听说过,用一段视频素材,加上一些照片作为原料,经由AI算法处理,就可以将视频中人物的脸部置换为另一张面容,拟真度超乎很多人的想象. 时至今日,用AI换脸制造假视频,已经不是什么新闻.视频AI换脸大大降低了制造假视频的难度,网络上甚至出现了大量使用女明星换脸的色情视频,这不得不让人忧心AI换脸在违法犯罪领域的潜力.     

复杂背景下人体检测算法

静态图像的人体识别技术在实际视频监控场景中, 面临背景复杂、图像分辨率低、光照影响和噪声干扰等问题, 这些多变性以及可能发生的遮挡给单一图像中的人体识别技术提出了挑战. 设计和实现一种复杂背景下的人体检测算法, 基于HOG人体检测算法, 使用积分直方图计算HOG特征, 并用级联SVM分类器对样本进行训练. 实验结果表明, 该算法在复杂视频监控场景中进行人体检测比其它人体检测算法具有更高的准确率和更快的检测速度.     

基于多视频的虚实融合系统

提出了一种基于多视频的虚实融合可视化系统的构建方法,旨在将真实世界中的图像和视频融合到虚拟场景中,用视频图像中的纹理和动态信息去丰富虚拟场景,提高虚拟环境的真实性,得到一种增强的虚拟环境.利用无人机采集图像来重建虚拟场景,并借助图像特征点的匹配来实现视频图像的注册.然后利用投影纹理映射技术,将图像投影到虚拟场景中.视频中的动态物体由于在虚拟环境中缺失对应的三维模型,直接投影,当视点发生变化时会产生畸变.首先检测和追踪这些物体,然后尝试使用多种显示方式来解决畸变问题.此外,系统还考虑有重叠区域的多视频之间的融合.实验结果表明,所构造的虚实融合环境是十分有益的.     

一种基于模型的扫换检测方法

视频自动分割是实现视频数据库检索必不可少的一个过程,其基础是镜头边界检测.当前已有的算法能够较准确地检测出镜头突变,但对于镜头的渐变则常常会漏检,这是由于镜头渐变时帧间差没有一个明显的峰值,因而其检测比突变检测要困难得多.扫换是一种常用的视频空间编辑手段,用于实现多种镜头变化.通过分析各种类型的扫换,提出了一种新的基于视频空间编辑模型的扫换检测算法,其性能优于Alattar提出的基于统计特征的算法.对用AdobePremiere5.1生成的各种扫换视频进行检测.实验结果表明,这种扫换检测算法能够较好地适应     

基于隐空间约束生成对抗网络的活体检测

近年来,人脸识别技术飞速发展,其主要应用于门禁系统和公共安防系统.然而现有的人脸识别系统容易受到仿冒攻击(也称为呈现攻击),例如尝试使用用户的脸部照片、视频或者伪造的3D人脸去攻击人脸识别系统,这些攻击手段给人脸识别系统带来了极具挑战性的安全问题.因此活体检测技术的研究十分重要,其可以使人脸识别系统免于攻击假脸的安全威...     

一种面向人脸活体检测的对抗样本生成算法

近年来,基于深度卷积神经网络的人脸活体检测技术取得了较好的性能.然而,深度神经网络被证明容易受到对抗样本的攻击,影响了人脸系统的安全性.为了建立更好的防范机制,需充分研究活体检测任务对抗样本的生成机理.相对于普通分类问题,活体检测任务具有类间距离小,且扰动操作难度大等特性.在此基础上,提出了基于最小扰动维度和人眼视觉特性的活体检测对抗样本生成算法,将扰动集中在少数几个维度上,并充分考虑人眼的视觉连带集中特性,加入扰动点的间距约束,以便最后生成的对抗样本更不易被人类察觉.该方法只需平均改变输入向量总维度的1.36%,即可成功地欺骗网络,使网络输出想要的分类结果.通过志愿者的辨认,该方法的人眼感知率比DeepFool方法降低了20%.     

人脸反欺诈活体检测综述

活体检测技术被广泛应用于信息安全、金融服务、文体娱乐、智慧城市、传媒社交等领域,通常与人脸识别技术结合使用,组成一个完整的系统部署到真实场景中。随着信息技术的推广,电子安全问题受到越来越多的关注,作为身份授权步骤的人脸识别的前置环节,活体检测扮演着重要角色。本文针对近年来提出的人脸反欺诈活体检测技术进行了分类及归纳,通过介绍、分析这些活体检测算法来进一步拓展活体检测的研究思路,最后给出其未来可能的发展趋势及总结。     

奇异值分解和改进PCA的视频人脸检索方法

针对视频中人脸检索问题,提出一种基于奇异值分解和改进PCA相结合的视频中单样本人脸检索方法,其中通过融合局部均值和标准差的图像增强处理来实现PCA算法的改进,从而克服光照对目标的影响。通过AdaBoost人脸检测算法对人脸图像和视频进行人脸检测;通过奇异值分解增加训练样本,在原样本和新样本的基础上采用改进的PCA人脸识别算法提取待检测人脸和视频中的人脸代数特征;采用最近邻分类器进行特征匹配,判断视频中检测出的人脸是否为要检索的目标人脸。实验结果表明,该方法在简单背景的视频环境下可以较准确地检索出目标人脸。     

复杂光照环境下视频人脸序列的自动检测方法

基于视频序列人脸自动检测是人脸跟踪、识别等研究的基础。提出了一种结合图像增强技术、gabor特征变 换和adaboost算法的视频序列人脸检测方法,其主要思想是使用图像增强技术对图像进行光照补偿,减轻不同的光 照条件(如局部的阴影和高亮等)对检测结果的影响。该方法首先通过高频增强滤波强化图像的边缘和细节信息,用 基于直方图的技术来调节图像的亮度,然后应用gabor小波变换进行特征抽取,最后采用adaboost方法训练样本,完 成人脸的检测。实验表明,该方法能够在不同的光照条件下准确检测出人脸,显示出较强的鲁棒性。     

基于篡改伪影的深度伪造检测方法

随着深度伪造（Deepfake）技术的不断发展,犯罪分子可以利用造假图片伪造不在场证明,从而误导侦查方向以逃避法律责任。现有多数检测方法依赖于数据驱动,在跨压缩率、跨分辨率方面鲁棒性不强。研究Deepfake视频在脸部区域所遗留的伪影,建立一种基于Xception的双流网络检测模型,以实现对Deepfake图片的自动检测。利用Xception网络提取图片的全局空域特征,对脸部区域进行有效遮挡,凸显出脸部伪影并提取伪影特征。在此基础上,将空域特征与伪造特征2个支流的预测结果进行融合判别。在Deepfakes数据集上的实验结果表明,该模型的测试精度高达0.986 4。     

基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

优化特征提取的互动式人脸活体检测研究

针对人脸识别系统中出现的通过照片或视频“欺诈”解锁问题，提出一种活体检测方法，通过随机指令判断被检测对象是否为真人。利用HOG特征和随机森林算法对摄像头采集的图像进行人脸检测，预测脸部68个特征点位置，把68个特征点位置和脸部位置的相对位置归一化后作为姿态的特征，提取的姿态特征与SVM分类器相结合，训练出分类效果较好的头部姿态估计分类器。通过多次实验，对特征提取方法进行优化，进一步提高检测准确率。最后，使用随机互动式命令序列对被检测人发出指令，实现活体检测。该方法对头部姿态估计具有较高的鲁棒性，并且可以有效地防范照片和视频认证攻击。     

基于人脸的活体检测系统

人脸识别技术由于其成本低、用户友好、效率高等特点被广泛应用,同时也出现了针对人脸识别的身份伪造攻击,主要包括照片人脸攻击、视频人脸攻击、三维人脸模型攻击等方式,对于这些攻击方式的防范方法都是围绕着基于人脸的活体检测这个中点进行展开. 本文着重研究的活体检测方法为眨眼检测与背景分析算法,通过区域增长算法进行人眼定位、形态学操作进行人眼张合判断、感知Hash 算法进行背景差异对比,构造出一个复合的活体检测系统. 基于复合的眨眼检测与背景分析算法,本文设计了一个包含眨眼检测模块与背景分析模块的活体检测系统,使用OpenCV2.4.9 与vs2012 的MFC 架构实现了一个可以抵御照片攻击与视频攻击的活体检测系统,并对系统进行实验与评估,在与其它同类型的系统进行比较的结果来看,本文实现的系统性能表现优异.     

区块链资产窃取攻击与防御技术综述

自中本聪提出比特币以来,区块链技术得到了跨越式发展,特别是在数字资产转移及电子货币支付方面。以太坊引入智能合约代码,使其具备了同步及保存智能合约程序执行状态,自动执行交易条件并消除对中介机构需求,Web3.0 开发者可利用以太坊提供的通用可编程区块链平台构建更加强大的去中心化应用。公链系统具备的特点,如无须中央节点控制、通过智能合约保障交互数据公开透明、用户数据由用户个人控制等,使得它在区块链技术发展的过程中吸引了更多的用户关注。然而,随着区块链技术的普及和应用,越来越多的用户将自己的数字资产存储在区块链上。由于缺少权威机构的监管及治理,以太坊等公链系统正逐步成为黑客窃取数字资产的媒介。黑客利用区块链实施诈骗及钓鱼攻击,盗取用户所持有的数字资产来获取利益。帮助读者建立区块链资产安全的概念,从源头防范利用区块链实施的资产窃取攻击。通过整理总结黑客利用区块链环境实施的资产窃取攻击方案,抽象并归纳威胁模型的研究方法,有效研究了各类攻击的特征及实施场景。通过深入分析典型攻击方法,比较不同攻击的优缺点,回答了攻击能够成功实施的根本原因。在防御技术方面,针对性结合攻击案例及攻击实施场景介绍了钓鱼检测、代币授权检测、代币锁定、去中心化代币所属权仲裁、智能合约漏洞检测、资产隔离、供应链攻击检测、签名数据合法性检测等防御方案。对于每一类防御方案,给出其实施的基本流程及方案,明确了各防护方案能够在哪类攻击场景下为用户资产安全提供防护。     

一种基于多因素的告警关联方法

入侵检测系统作为保护网络安全的重要工具已被广泛使用,其通常产生大量冗余度高、误报率高的告警。告警关联分析通过对底层告警进行综合分析与处理,揭示出其中包含的多步攻击行为。许多告警关联方法通过在历史告警中挖掘频繁模式来构建攻击场景,方法容易受冗余告警、误报影响,挖掘出的多步攻击链在某些情况下不能反映出真实的多步攻击行为。为此,提出一种基于多因素的多步攻击关联方法。通过聚合原始告警以得到超级告警,降低冗余告警带来的影响;将超级告警构造成超级告警时间关系图,同时结合超级告警间的多因素关联度评价函数从时间关系图中挖掘出多步攻击场景。实验结果表明,该方法能克服冗余告警及大部分误报带来的负面影响、有效地挖掘出多步攻击链。