基于时空融合图网络学习的视频异常事件检测

视频中异常事件所体现的时空特征存在着较强的相关关系.针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图;考虑各节点的m个时间段内的连续性形成边的权重,构成时间连续图．将空间相似图和时间连续图进行自适应加权融合形成时空融合图卷积网络,并学习生成视频特征.在排序损失中加入图的稀疏项约束降低图模型的过平滑效应并提升检测性能.在UCF-Crime和ShanghaiTech等视频异常事件数据集上进行了实验,以接收者操作曲线(receiver operating characteristic curve, ROC)以及曲线下面积(area under curve, AUC)值作为性能度量指标.在UCF-Crime数据集下,提出的方法在AUC上达到80.76%,比基准线高5.35%;在ShanghaiTech数据集中,AUC达到89.88%,比同类最好的方法高5.44%.实验结果表明:所提出的方法可有效提高视频异常事件检测的性能.     

基于三元中心引导的弱监督视频异常检测

针对监控视频异常的复杂多样性和短时持续性,引入弱监督视频异常检测方法,旨在仅使用视频级别的标签进行异常检测,并提出了基于变分自编码器(VAE)与长短期记忆(LSTM)网络的异常回归网络VLARNet作为异常检测框架,以捕获时序数据中的时间依赖关系、去除冗余信息,保留数据的关键信息。该框架将异常检测视为回归问题,为学习检测特征,设计了异常分数回归的三元中心损失(TCLASR),与动态多实例学习损失(DMIL)相结合以进一步提高特征的区分能力。DMIL能够扩大异常实例与正常实例之间的类间距离,但同时也扩大了类内距离,而TCLASR可使来自同类的实例与类中心的距离更接近,与不同类中心的距离更远。对VLARNet在ShanghaiTech与CUHK Avenue数据集上进行了综合实验。实验结果表明,VLARNet能够有效利用视频数据的各种信息,在两个数据集上获得的受试者工作特征曲线下面积(AUC)分别为94.64%和93.00%,明显优于对比算法。     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

基于重构误差的无监督人脸伪造视频检测

目前有监督的人脸伪造视频检测方法需要大量标注数据。为解决视频伪造方法迭代快、种类多等现实问题，将时序异常检测中的无监督思想引入人脸伪造视频检测，将伪造视频检测任务转为无监督的视频异常检测任务，提出一种基于重构误差的无监督人脸伪造视频检测模型。首先，抽取待检测视频中连续帧的人脸特征点序列；其次，基于偏移特征、局部特征、时序特征等多粒度信息对待检测视频中人脸特征点序列进行重构；然后，计算原始序列与重构序列之间的重构误差；最后，根据重构误差的波峰频率计算得分对伪造视频进行自动检测。实验结果表明，在FaceShifter、FaceSwap等人脸视频伪造方法上，与LRNet(Landmark Recurrent Network)、Xception-c23等检测方法相比，所提方法的检测性能的曲线下方面积（AUC）最多增加了27.6%，移植性能的AUC最多增加了30.4%。     

利用注意力机制的多示例学习视频异常检测

视频异常检测旨在检测视频中的表观异常和运动异常,多示例学习(Multiple Instance Learning, MIL)是目前较先进的弱监督视频异常检测方法,但是MIL提取的C3D特征不能同时描述视频中表观和运动信息,这导致异常检测性能较低.本文提出了利用注意力机制的多示例学习视频异常检测算法(A-MIL),首先提取视频数据的三维特征C3D和光流特征图,并利用Conv-AE提取光流图的特征向量,然后输入至3层全连接神经网络中得到每个示例每种特征的异常分数,接着通过注意力机制获取特征的权重参数,得到最终的示例分数,最后利用改进的MIL排序算法进行模型训练并设置阈值,测试时将异常分数与阈值相比较以判断异常.在公开数据集UCF-Crime上的实验结果表明,本文方法的AUC指标提升了2.79%.     

伪异常选择驱动学习的视频异常检测

无监督视频异常检测方法通常使用正常的监控视频数据通过帧重构/帧预测方法来训练视频异常检测模型。然而,正常视频中往往包含大量的相似画面和背景帧,数据集冗余的问题尤为明显,因此不能高效地进行异常检测模型训练。针对该问题,提出了伪异常选择驱动学习的视频异常检测方法,从原始视频训练数据中迭代选取部分异常分数高的正常视频帧(伪异常帧)来构建新的训练池,用于学习和优化视频异常检测模型。在检测模型方面,设计了基于后继帧预测的双路U-Net骨干网络,以不同采样率的视频段分别作为两个支路的输入,从而从多个粒度上更好地提取和利用视频的时空特征。为了加强典型训练数据对帧预测任务和异常检测的影响,双路U-Net中设计了多层的记忆学习模块。在常用视频异常检测数据集上进行实验,验证了所提方法在检测精度和训练效率上的有效性。     

基于双重动态记忆网络的弱监督视频异常检测

视频异常检测需从整段视频中识别帧级别的异常行为。弱监督方法使用正常与异常视频，辅以视频级别标签训练模型，相比无监督视方法展现出了更优越的性能。然而，目前的弱监督视频异常检测方法无法记录视频长期模态，且部分方法为了获得更优的检测效果，利用了未来帧的信息，导致无法在线应用。为此，文中首次提出了一种基于双重动态记忆网络的弱监督视频异常检测方法，通过设计包含两个记忆模块的记忆网络来分别记录视频中长期的正常和异常模态。为了实现视频特征和记忆项的协同更新，采用读操作基于记忆模块中的记忆项对视频帧的特征进行增强，采用写操作基于视频帧特征对记忆项的内容进行更新，同时记忆项的数量在训练的过程中会动态调整从而适应不同视频监控场景的需求。在训练时，设计模态分离损失增加记忆项之间的区分度。在测试时，仅需要记忆项而不需要未来视频帧的参与，从而实现准确的在线检测。在两个公开的弱监督视频异常检测数据集上的实验结果表明，所提方法优于所有在线应用的方法，相比只能离线应用的方法也具有很强的竞争力。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

在线异常事件检测的时序建模

弱监督异常事件检测是一项极富挑战性的任务,其目标是在已知正常和异常视频标签的监督下,定位出异常发生的具体时序区间.文中采用多示例排序网络来实现弱监督异常事件检测任务,该框架在视频被切分为固定数量的片段后,将一个视频抽象为一个包,每个片段相当于包中的示例,多示例学习在已知包类别的前提下训练示例分类器.由于视频有丰富的时序信息,因此重点关注监控视频在线检测的时序关系.从全局和局部角度出发,采用自注意力模块学习出每个示例的权重,通过自注意力值与示例异常得分的线性加权,来获得视频整体的异常分数,并采用均方误差损失训练自注意力模块.另外,引入LSTM和时序卷积两种方式对时序建模,其中时序卷积又分为单一类别的时序空洞卷积和融合了不同空洞率的多尺度的金字塔时序空洞卷积.实验结果显示,多尺度的时序卷积优于单一类别的时序卷积,时序卷积联合包内包外互补损失的方法在当前UCF-Crime数据集上比不包含时序模块的基线方法的AUC指标高出了3.2％.     

基于融合时空数据的车辆加油行为多视图深度异常检测框架

车辆加油时空数据多源异构、关系复杂,现有成熟的异常检测方法难以对时空离散的加油活动数据进行分析,因此提出基于融合时空数据的车辆加油行为多视图深度异常检测框架。首先基于统一概念模型（UCM）对静态信息和动态活动数据进行关联融合管理,然后从空间视图、时间视图和语义视图角度对时空数据进行编码和转换,最后基于三种视图构建深度时空异常分析检测框架。车辆加油时空数据集上的实验结果表明,多种异常检测方法在融合时空数据上均可取得更低均方根误差（RMSE）,平均降低10.73%,所提方法比现有主流方法中结果最好的长短时记忆网络（LSTM）的RMSE降低19.36%。在信用卡欺诈公开数据集上的实验结果表明,所提方法较之逻辑回归模型,马修斯系数（MCC）提高了32.78%。以上实验验证了所提方法的有效性。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

融合混合注意力的自编码器视频异常检测

为提高视频异常检测的准确率,提出一种融合混合注意力的自编码器视频异常检测算法。针对自编码器网络强大的“泛化”能力可能重构异常行为问题,提出一种混合注意力模块(CSCFAM)并将其融合至编码器和解码器之间的跳跃连接层以限制异常行为的生成。为考虑正常样本的多样性,在编码器和解码器之间的瓶颈处引入存储记忆模块(Memory),记录正常样本潜在特征的原型模式。实验结果表明,该算法在UCSD Ped2、CUHK Avenue数据集上帧级AUC分别达到97.3%、87.0%,与当前先进的视频异常检测算法相比,异常检测能力得到有效提升。     

帧内复制粘贴视频伪造的盲检测

随着数字获取技术的发展,数字媒体文档的获取越来越方便,并已成为人们现代生活中不可缺少的组成部分。功能强大的视频编辑软件为视频复制粘贴提供了方便,因此视频伪造检测具有重大现实需求。利用传统的图像伪造检测算法逐帧对视频进行伪造检测计算量大、耗时冗长,且不能保证检测结果的时空一致性。本文提出了一种基于稠密SIFT流的帧内复制粘贴视频伪造盲检测算法。所提算法自适应地在内容最小变化位置把视频划分为多个视频段,提取每个视频段的关键帧;在关键帧利用匹配SIFT关键点定位初始疑似复制粘贴伪造区域,通过SIFT关键点和均值漂移分割区域的位置依赖关系细化疑似伪造区域;采用稠密SIFT流把关键帧检测结果过渡至非关键帧,最终实现视频的复制粘贴伪造盲检测。实验结果表明,所提视频伪造盲检测方法能够高效地检测出帧内复制粘贴的视频伪造区域。     

长短期时间序列关联的视频异常事件检测

目的 多示例学习是解决弱监督视频异常事件检测问题的有力工具。异常事件发生往往具有稀疏性、突发性以及局部连续性等特点,然而,目前的多示例学习方法没有充分考虑示例之间的联系,忽略了视频片段之间的时间关联,无法充分分离正常片段和异常片段。针对这一问题,提出了一种长短期时间序列关联的二阶段异常检测网络。方法 第 1 阶段是长短期时间序列关联的异常检测网络（long-and-short-term correlated mil abnormal detectionframework,LSC-transMIL）,将 Transformer 结构应用到多示例学习方法中,添加局部和全局时间注意力机制,在学习不同视频片段间的空间关联语义信息的同时强化连续视频片段的时间序列关联;第 2 阶段构建了一个基于时空注意力机制的异常检测网络,将第 1 阶段生成的异常分数作为细粒度伪标签,使用伪标签训练策略训练异常事件检测网络,并微调骨干网络,提高异常事件检测网络的自适应性。结果 实验在两个大型公开数据集上与同类方法比较,两阶段的异常检测模型在 UCF-crime、ShanghaiTech 数据集上曲线下面积（area under curve,AUC）分别达到82. 88% 和 96. 34%,相比同为两阶段的方法分别提高了 1. 58% 和 0. 58%。消融实验表明了关注时间序列的 Transformer 模块以及长短期注意力的有效性。结论 本文将 Transformer 应用于时间序列的多示例学习,并添加长短期注意力,突出局部异常事件和正常事件的区别,有效检测视频中的异常事件。     

融合小波变换和编解码注意力的异常检测

针对视频异常检测中对正常视频预测不准确、学习正常特征的能力欠佳的问题,提出融合小波变换和编解码注意力的异常检测模型。模型中引入多级离散小波变换,设计了一种离散小波变换融合模块,将由视频帧分解得到的多个子带图拼接,传入深度可分离卷积,再与编码器特征融合,以弥补下采样过程中丢失的高频细节信息;构建了一种编解码注意力模块,通过对编码器特征图进行高斯差分操作,然后分别沿水平和垂直方向获取注意力权重,再根据权重聚合编码器特征,最后关联解码器特征,增强网络对正常事件的学习。在Ped1、Ped2、Avenue数据集上的实验表明,采用提出的模块使模型的AUC分别提升了3.2%、3.1%、2.0%,说明该模块能有效提高模型检测异常的能力。     

多时间尺度一致性的弱监督时序动作定位

由于弱监督时序动作定位模型使用视频级的标签作为监督信号,模型在识别出动作实例中最具区分性的视频片段时,也会将和视频级标签有关的背景片段误认为是动作,难以产生完整的动作提议。为了进一步检测动作片段,通过分析动作片段在多时间尺度上标记的一致性,提出了一种多时间尺度一致性的弱监督时序动作定位方法。对输入的视频帧提取RGB和光流的特征,设计一种多时间尺度的模块,使用不同尺寸的卷积核建模视频的时序关系。通过估计多时间尺度特征的时间类激活图,并对多分支的时间类激活图进行融合,获得多时间尺度一致性的动作预测标签。为了进一步优化模型预测的动作标签,采用迭代优化策略,在每次迭代中更新预测标签,并为模型训练提供有效的帧级监督信号。在THUMOS14和ActivityNet1.3数据集上进行实验验证,实验结果表明,方法性能优于现有弱监督时序动作定位方法。     

轨迹和多标签超图配对融合的视频复杂事件检测

视频数据中包含丰富的运动事件信息,从中检测复杂事件,分析其中的高层语义信息,已成为视频研究领域的热点之一。视频复杂事件检测,主要对事件中多语义概念进行检测分析,对多运动目标的特征进行描述,发现底层特征与高层语义概念间的关系,旨在从各类视频特征及相关的原始视频数据中自动提取视频复杂事件中语义概念模式,实现“跨越语义鸿沟”的目标。在超图理论的基础上,提出了针对运动目标特征分别构建轨迹超图和多标签超图,并对其进行配对融合,用于检测视频复杂事件。实验结果证明,同其他方法如基于普通图的事件检测方法和基于超图的多标签半监督学习方法相比,新方法在检测复杂事件结果中具有更高的平均查准率和平均查全率。     

颜色和帧间信息相结合的视频奇异段检测

提出了一种对视频序列进行段奇异性检测和等级划分的方法。该方法首先选择直方图信息来体现段内颜色变化情况,将段内所选视频帧的直方图组合成直方图矩阵。为了提高处理效率,利用主成分分析对直方图矩阵进行降维。然后选择帧间信息来体现段内的运动变化情况。最后,将两类特征的结果进行融合,得到最终的检测结果。该方法对一定数量的样本进行了实验,实验结果表明,该方法能够很好地实现视频段的奇异性检测和排序,性能也比其他方法有所提高。     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

基于非局部注意力生成对抗网络的视频异常事件检测方法

针对异常事件的不确定性,文中选择使用未来帧预测的方式对视频进行异常事件检测。通过正常样本对预测模型进行训练,使模型能够准确预测不包含异常事件的未来帧,但对于包含未知事件的视频帧,模型无法进行预测,利用生成对抗网络以及表观约束和运动约束对用于预测的生成器模型进行训练。为了减少相关目标特征丢失,提出了非局部注意力U型网络生成器(Nonlocal Attention Unet Generator, NA-UnetG)模型,提升了生成器的预测精度,同时提升了视频异常事件检测的准确度。通过公开数据集CUHK Avenue和UCSD Ped2对所提方法进行实验验证,实验结果表明,所提方法的AUC指标优于其他方法,AUC分别达到了83.4%和96.3%。