融合混合注意力的自编码器视频异常检测

为提高视频异常检测的准确率,提出一种融合混合注意力的自编码器视频异常检测算法。针对自编码器网络强大的“泛化”能力可能重构异常行为问题,提出一种混合注意力模块(CSCFAM)并将其融合至编码器和解码器之间的跳跃连接层以限制异常行为的生成。为考虑正常样本的多样性,在编码器和解码器之间的瓶颈处引入存储记忆模块(Memory),记录正常样本潜在特征的原型模式。实验结果表明,该算法在UCSD Ped2、CUHK Avenue数据集上帧级AUC分别达到97.3%、87.0%,与当前先进的视频异常检测算法相比,异常检测能力得到有效提升。     

时空上下文编码的视频拷贝检测

基于内容的视频拷贝检测,目前最流行的方法是基于词袋模型的关键帧内容匹配方法。由于在空间上丢失了视觉词汇的上下文信息,而在时域中,同样丢失了关键帧时域上下文信息,此类方法的精度受到限制。针对这一问题,通过使用一个上下文模型用于计算视频关键帧的空间上下文信息和时域上下文信息,同时将时空上下文信息量化成二进制编码,并通过海明距离实现快速的时空上下文验证。在TREVID—2009视频集上的实验验证了该算法具有较高的效率与准确性。     

基于时空融合图网络学习的视频异常事件检测

视频中异常事件所体现的时空特征存在着较强的相关关系.针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图;考虑各节点的m个时间段内的连续性形成边的权重,构成时间连续图．将空间相似图和时间连续图进行自适应加权融合形成时空融合图卷积网络,并学习生成视频特征.在排序损失中加入图的稀疏项约束降低图模型的过平滑效应并提升检测性能.在UCF-Crime和ShanghaiTech等视频异常事件数据集上进行了实验,以接收者操作曲线(receiver operating characteristic curve, ROC)以及曲线下面积(area under curve, AUC)值作为性能度量指标.在UCF-Crime数据集下,提出的方法在AUC上达到80.76%,比基准线高5.35%;在ShanghaiTech数据集中,AUC达到89.88%,比同类最好的方法高5.44%.实验结果表明:所提出的方法可有效提高视频异常事件检测的性能.     

基于外观和动作特征双预测模型的视频异常行为检测

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型。该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图。此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的“生成”能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的“原型”特征的记忆增强模块,从而使异常样本能获得更大的预测误差。在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验。实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现。具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积（AUC）分别达到了88.2%、97.5%和73.0%。     

用于视频异常检测的时序多尺度自编码器

视频异常检测是指识别不符合预期行为的事件.当前许多方法利用重构误差来检测异常,由于深度神经网络的强大能力可能会重构出异常行为,这与异常行为重构误差较大的假设不符.而利用预测未来帧的方法进行异常检测取得了很好的效果,但这些方法大多未考虑正常样本的多样性,或不能建立视频连续帧之间的关联.为了解决该问题,提出了一种时序多尺度...     

基于卷积自编码器分块学习的视频异常事件检测与定位

视频异常事件检测与定位旨在检测视频中发生的异常事件,并锁定其在视频中发生的位置.但是视频场景复杂多样,并且异常发生的位置随机多变,导致发生的异常事件难以被精准定位.本文提出了一种基于卷积自编码器分块学习的视频异常事件检测与定位方法,首先将视频帧进行均匀划分,提取视频帧中每一块的光流和方向梯度直方图(Histogram ...     

融合记忆增强的视频异常检测

深度自编码器可以通过预测当前帧来判断视频中的异常情况。但由于自动编码器对图片的低层次特征无法良好的预测,在自动编码器中添加跳跃连接可以提高预测图片细节信息的能力。由于自动编码器有很好的“泛化”能力,为了抑制对异常事件的准确预测,通过在编码器和解码器的跳跃连接之间添加记忆增强模块限制模型对异常帧的准确预测。同时,为了突出异常帧中的事件,在预测视频帧的同时通过背景提取模块获取当前图片的背景信息用于后续预测误差的计算。在UCSD Ped2数据集、CUHK Avenue数据集和ShanghaiTech数据集上的实验结果表明,改进后模型的异常检测能力得到了提升。     

基于独立循环神经网络与变分自编码网络的视频帧异常检测

为了有效提取连续视频帧间的时间信息,提出一种融合独立循环神经网络（IndRNN）与变分自编码（VAE）网络的预测网络IndRNN-VAE。首先,利用VAE网络提取视频帧的空间信息,并通过线性变换得到视频帧的潜在特征;然后,将潜在特征作为IndRNN的输入以得到视频帧序列的时间信息;最后,通过残差块将获得的潜在变量与时间信息进行融合并输入到解码网络中来生成预测帧。通过在UCSD Ped1、UCSD Ped2、Avenue公开数据集上进行测试,实验结果表明,与现有的异常检测方法相比,基于IndRNN-VAE的方法性能得到了显著提升,曲线下面积（AUC）值分别达到了84.3%、96.2%和86.6%,错误率（EER）值分别达到了22.7%、8.8%和19.0%,平均异常得分的差值分别达到了0.263、0.497和0.293,且运行速度达到了每秒28帧。     

融合自注意力和自编码器的视频异常检测

目的 视频异常检测通过挖掘正常事件样本的模式来检测不符合正常模式的异常事件。基于自编码器的模型广泛用于视频异常检测领域,由于自监督学习的特征提取具有一定盲目性,使得网络的特征表达能力有限。为了提升模型对正常模式的学习能力,提出一种基于Transformer和U-Net的视频异常检测方法。方法 首先,编码器对输入的连续帧进行下采样提取低层特征,并将最后一层特征图输入Transformer编码全局信息,学习特征像素之间的相关信息。然后解码器对编码特征进行上采样,通过跳跃连接与编码器中相同分辨率的低层特征融合,将全局空间信息与局部细节信息结合从而实现异常定位。针对近景康复动作的异常反馈需求,本文基于周期性动作收集了一个室内近景数据集,并进一步引入动态图约束引导网络关注近景周期性运动区域。结果 实验在4个室外公开数据集和1个室内近景数据集上与同类方法比较。在室外数据集CUHK(Chinese University of Hong Kong)Avenue,UCSD Ped1(University of California, San Diego, pedestrian1),UCSD Ped2,L...     

融合门控自注意力机制的生成对抗网络视频异常检测

目的 视频异常行为检测是当前智能监控技术的研究热点之一,在社会安防领域具有重要应用。如何通过有效地对视频空间维度信息和时间维度信息建模来提高异常检测的精度仍是目前研究的难点。由于结构优势,生成对抗网络目前广泛应用于视频异常检测任务。针对传统生成对抗网络时空特征利用率低和检测效果差等问题,本文提出一种融合门控自注意力机制的生成对抗网络进行视频异常行为检测。方法 在生成对抗网络的生成网络U-net部分引入门控自注意力机制,逐层对采样过程中的特征图进行权重分配,融合U-net网络和门控自注意力机制的性能优势,抑制输入视频帧中与异常检测任务不相关背景区域的特征表达,突出任务中不同目标对象的相关特征表达,更有效地针对时空维度信息进行建模。采用LiteFlownet网络对视频流中的运动信息进行提取,以保证视频序列之间的连续性。同时,加入强度损失函数、梯度损失函数和运动损失函数加强模型检测的稳定性,以实现对视频异常行为的检测。结果 在CUHK(Chinese University of Hong Kong) Avenue、UCSD(University of California, San Dieg...     

基于改进型时间分段网络的视频异常检测

视频异常检测是计算机视觉领域的一个重要研究课题,广泛应用于道路监控、异常事件监测等方面。考虑到异常行为的外观、运动特征与正常行为存在明显差异,提出一种改进型时间分段网络,利用该网络学习视频中的外观和运动信息,从而对视频异常行为进行预测。为了提取更多的视频信息,将RGB图和RGB帧差图相融合作为输入,以提取RGB图中的外观信息并通过RGB帧差图获得更有效的运动特征。将卷积注意力机制模块加入到时间分段网络模型中,从空间和通道2个不同的维度学习注意力图,利用学习到的注意力权重区分异常和正常的视频片段,同时运用焦点损失函数降低大量简单负样本在训练过程中所占的权重,使得模型更专注于难分类的样本,从而解决视频异常检测中正负样本比例不平衡的问题。实验结果表明,改进型时间分段网络在UCF-Crime和CUHK Avenue数据集上的AUC值分别达到77.6%和83.3%,检测性能优于基准方法TSN（RGB流）以及ISTL、3D-ConvAE等方法。     

低秩重检测的多特征时空上下文的视觉跟踪

时空上下文跟踪算法充分的利用空间上下文中包含的结构信息能够有效的对目标进行跟踪,实时性优良。但是该算法仅仅利用单一的灰度信息,使得目标的表观表达缺乏判别性,而且该方法在由于遮挡等问题造成的跟踪漂移后无法进行初始化。针对时空上下文算法存在的弱点,本文提出了一个基于低秩重检测的多特征时空上下文跟踪方法。首先利用多特征对时空上下文进行多方面的提取,构建复合时空上下文信息,充分利用目标周围的特征信息,提高目标表观表达的有效性。其次利用简单有效的矩阵分解方式将跟踪到的历史跟踪信息进行低秩表达,将其引入有效的在线重检测器中来保持跟踪结构的一致稳定性,解决了跟踪方法在跟踪失败后的重定位问题,在一系列跟踪数据集上的实验结果表明本算法比原始算法及当前的主流算法相比有更好的跟踪精度与鲁棒性,且满足实时性要求。     

一种基于DBI-PD聚类算法的异常检测机制

分析了网络数据维数和检测准确度之间的关系,介绍了常用于入侵检测的聚类分析方法及其优缺点。在此基础上,提出一种以戴维森堡丁指数(DBI)为聚类准则、基于划分和密度方法的聚类算法(DBI-PD)。该方法通过信息增益率(IGR)提取网络数据中对检测攻击最有用的"特征",并以DBI准则确定最优聚类个数、划分和密度两种聚类分析方法结合使用用于异常检测。提出的基于DBI-PD的异常检测机制能有效避免聚类分析在入侵检测中的"维数灾难"问题、避免无用数据特征干扰,还能改善聚类质量,从而提高检测准确度。     

基于均值漂移算法和时空上下文算法的目标跟踪

在严重遮挡时,时空上下文STC(Spatio-Temporal Context)算法对目标位置的判断是正确的,而均值漂移MS(Mean Shift)算法对目标位置的判断会发生很大幅度的抖动,甚至跟踪错误目标。在遮挡结束后,时空上下文算法很难重新跟踪到正确目标,而均值漂移算法可以重新检测到跟踪目标。结合二者的优缺点,提出基于均值漂移算法和时空上下文算法的目标跟踪算法MSandSTC。该算法主要解决目标被严重遮挡的问题。在许多具有挑战性的数据集上的实验表明所提算法具有较好的实时性和鲁棒性。     

基于时空灰度序特征的视频片段定位算法

基于灰度序特征的视频片段定位算法是解决视频片段定位问题的典型算法.这类算法存在的不足是：特征的唯一性表示能力不够,使得在召回率较高的情况下,定位检索的精度下降得较快;二次多项式级的时间复杂度使得响应时间过长,并对查询视频长度敏感.针对上述两个问题,提出了一种基于时空灰度序特征的视频片段定位算法,其关键步骤包括：(1) 在精确定位之前,通过引入线性时间复杂度的基于时空二值模式直方图特征(spatio-temporal binary pattern histogram,简称STBPH)的实时过滤算法以及基于二值时间灰度序特征(binarytemporal ordinal measure,简称BTOM)的快速过滤算法,大幅度减少精确定位阶段需要进行比较的候选视频片段个数;(2) 在精确定位阶段,通过引入唯一性表示能力更好且保持了较好鲁棒性的时空统一灰度序特征(jointspatio-temporal ordinal measure,简称JSTOM)进行序列匹配,显著提高了定位检索的精度.实验结果表明,该算法能够快速、准确地进行视频片段定位,大幅降低了对查询视频长度的敏感度.     

基于融合马尔科夫模型的工控网络流量异常检测方法

虽然工业互联网为现代工业注入了新的活力,极大地提高了工业生产效率,但是网络化也给工业控制系统带来了更多的威胁。近年来,国内外发生了多起工控入侵事件,严重影响了工业生产安全,工控安全问题愈发突出。为确保现代工业向着数字化、自动化等方向稳定发展,有效的工控系统入侵检测方法成为了研究重点。针对工业控制系统中现有的方法对于多周期混合的流量无法进行有效分离、难以检测和防御更加复杂的语义攻击的情况,充分利用工业流量高周期性和高相关性的特点,提出一种基于融合马尔科夫模型的工控网络流量异常检测方法。首先深度解析报文语义并将原始流量序列映射为hash字符串序列,然后根据字符串序列间的相关性生成状态转移图。接下来,根据状态转移图间各状态的出入关系和频率将子周期符号进行分类并依次构建DFA模型。为了检测更多语义攻击,该方法根据子周期间的出入关系和模型误报率将错误分解的长周期模式进行融合并在每个DFA模型的节点中加入时间间隔信息。在SCADA测试平台上进行实验验证,结果表明此方法能检测更多类型的攻击,对复杂语义攻击具有较高的检出率。     

多协议交叉的HMM协议异常检测算法

随着网络攻击的不断多样化,现有的协议异常检测工作在准确率和实时性方面面临新的挑战。针对目前的协议异常检测方法只面向单一协议的恶意攻击而未考虑协议之间的关联,提出一种基于HMM的协议异常交叉检测算法。使用多个协议的语义关键词和时间标记来构造报文序列作为模型的训练集,提出协议报文语义合并算法并结合Baum-Welch算法构建多协议交叉的HMM,在序列化协议报文的同时收集子序列重复数来进一步校验HMM对存在大量循环操作的攻击行为的检测。通过在视频监控网络中进行仿真实验,证明该检测算法同现有的HMM异常检测方法相比,可以更准确地检测多种恶意攻击,同时具有一定的通用性。     

监控视频的异常检测与建模综述

随着物联网技术的不断发展,监控设备在交通干道、学校医院、商场超市、小区楼宇等公共区域进行了广泛部署.这些监控设备为人们提供了一种隐性安全保障,也产生了大量的监控视频.基于监控视频的异常检测一直是图像处理、机器视觉、深度学习等相关领域的研究热点.对视频异常进行了直观描述和异常检测概述,对出现的一些综述文章进行了分析,针对其覆盖范围不全和特征表示以及模型没有清晰划分.首先从异常检测特征表示、异常检测建模2方面对传统经典的和新兴的视频异常检测算法进行分类和描述.然后从基于距离、概率、重构3个方面将不同的算法进行比较,分析不同模型的优缺点以及每种模型的特性.并对现存算法的评估标准进行归纳并指出了新的更加准确有效的评估指标.最后,介绍了监控视频异常检测常用的数据集,汇总了不同算法在常用数据集上的检测效果,并对未来的研究在实际应用中面临的一些挑战和研究方向进行了探讨.