基于双重动态记忆网络的弱监督视频异常检测

视频异常检测需从整段视频中识别帧级别的异常行为。弱监督方法使用正常与异常视频，辅以视频级别标签训练模型，相比无监督视方法展现出了更优越的性能。然而，目前的弱监督视频异常检测方法无法记录视频长期模态，且部分方法为了获得更优的检测效果，利用了未来帧的信息，导致无法在线应用。为此，文中首次提出了一种基于双重动态记忆网络的弱监督视频异常检测方法，通过设计包含两个记忆模块的记忆网络来分别记录视频中长期的正常和异常模态。为了实现视频特征和记忆项的协同更新，采用读操作基于记忆模块中的记忆项对视频帧的特征进行增强，采用写操作基于视频帧特征对记忆项的内容进行更新，同时记忆项的数量在训练的过程中会动态调整从而适应不同视频监控场景的需求。在训练时，设计模态分离损失增加记忆项之间的区分度。在测试时，仅需要记忆项而不需要未来视频帧的参与，从而实现准确的在线检测。在两个公开的弱监督视频异常检测数据集上的实验结果表明，所提方法优于所有在线应用的方法，相比只能离线应用的方法也具有很强的竞争力。     

基于记忆对抗网络的监控视频异常检测北大核心CSCD

生成对抗网络是近年来解决视频异常检测的一类新方法。传统对抗网络对异常样本预测的泛化能力过强,进而导致预测性能不稳定。针对这一问题,提出一种基于记忆对抗网络的监控视频异常检测方法。首先,将记忆模块引入基于U-Net的预测网络与判别网络的对抗学习框架中,构建记忆对抗网络,以提升模型对正常视频帧的预测能力;其次,为记忆对抗网络设计了基于特征紧致度与分离度的新损失函数,提升了训练过程收敛的可靠性;此外,提出了基于记忆损失的异常性评估方案,以提升异常检测的准确性。通过对未来帧与预测帧的PSNR值和视频帧特征与记忆特征间距离的融合,进一步提升了模型的异常检测效果。消融实验验证了各改进部分的有效性;同其他算法相比,所提方法表现出良好的竞争力。     

伪异常选择驱动学习的视频异常检测

无监督视频异常检测方法通常使用正常的监控视频数据通过帧重构/帧预测方法来训练视频异常检测模型。然而,正常视频中往往包含大量的相似画面和背景帧,数据集冗余的问题尤为明显,因此不能高效地进行异常检测模型训练。针对该问题,提出了伪异常选择驱动学习的视频异常检测方法,从原始视频训练数据中迭代选取部分异常分数高的正常视频帧(伪异常帧)来构建新的训练池,用于学习和优化视频异常检测模型。在检测模型方面,设计了基于后继帧预测的双路U-Net骨干网络,以不同采样率的视频段分别作为两个支路的输入,从而从多个粒度上更好地提取和利用视频的时空特征。为了加强典型训练数据对帧预测任务和异常检测的影响,双路U-Net中设计了多层的记忆学习模块。在常用视频异常检测数据集上进行实验,验证了所提方法在检测精度和训练效率上的有效性。     

融合混合注意力的自编码器视频异常检测

为提高视频异常检测的准确率,提出一种融合混合注意力的自编码器视频异常检测算法。针对自编码器网络强大的“泛化”能力可能重构异常行为问题,提出一种混合注意力模块(CSCFAM)并将其融合至编码器和解码器之间的跳跃连接层以限制异常行为的生成。为考虑正常样本的多样性,在编码器和解码器之间的瓶颈处引入存储记忆模块(Memory),记录正常样本潜在特征的原型模式。实验结果表明,该算法在UCSD Ped2、CUHK Avenue数据集上帧级AUC分别达到97.3%、87.0%,与当前先进的视频异常检测算法相比,异常检测能力得到有效提升。     

融合行人时空信息的视频异常检测

针对目前视频异常检测不能充分利用时序信息且忽视正常行为多样性的问题,提出了一种融合行 人时空信息的异常检测方法。以卷积自编码器为基础,通过其中的编码器和解码器对输入帧进行压缩和还原,并 根据输出帧与真实值的差异实现异常检测。为了加强视频连续帧之间的特征信息联系,引入残差时间移位模块和 残差通道注意力模块,分别提升网络对时间信息和通道信息的建模能力。考虑到卷积神经网络(CNN)过度的泛化 性,在编解码器各层的跳跃连接之间加入记忆增强模块,限制自编码器对异常帧过于强大的表示能力,提高网络 的异常检测精度。此外,通过一种特征离散性损失来修正目标函数,有效区分不同的正常行为模式。在 CUHK Avenue 和 ShanghaiTech 数据集上的实验结果表明,该方法在满足实时性要求的同时,优于当前主流的视频异常 检测方法。     

融合包注意力机制的监控视频异常行为检测EI北大核心CSCD

针对监控视频中行人非正常行走状态的异常现象,提出了一个端到端的异常行为检测网络,以视频包为输入,输出异常得分.时空编码器提取视频包时空特征后,利用基于隐向量的注意力机制对包级特征进行加权处理,最后用包级池化映射出视频包得分.本文整合了4个常用的异常行为检测数据集,在整合数据集上进行算法测试并与其他异常检测算法进行对比.多项客观指标结果显示,本文算法在异常事件检测方面有着显著的优势.     

基于外观和动作特征双预测模型的视频异常行为检测

为了在视频异常行为检测中更加充分地运用外观和动作信息,设计出了一种能同时捕捉外观和动作信息的孪生网络模型。该网络的两个分支采用相同的自编码器结构,其中的外观子网络以连续几帧RGB图作为输入来预测下一帧,而动作子网络则输入RGB帧差图来预测未来帧差图。此外,考虑到影响基于预测的方法的检测效果的原因之一,即正常样本的多样性以及自编码器网络强大的“生成”能力,即对部分异常样本也有很好的预测效果,因此在编码器与解码器之间加入一个学习并存储正常样本的“原型”特征的记忆增强模块,从而使异常样本能获得更大的预测误差。在Avenue、UCSD-ped2和ShanghaiTech三个公共的异常数据集上进行了广泛的实验。实验结果表明,相较于其他基于重建或预测的视频异常行为检测方法,所提方法取得了更优异的表现。具体来说,该方法在Avenue、UCSD-ped2和ShanghaiTech数据集上的平均曲线下面积（AUC）分别达到了88.2%、97.5%和73.0%。     

融合梯度差信息的稀疏去噪自编码网络在异常行为检测中的应用

本文是在稀疏去噪自编码网络的基础上,增加梯度差约束条件改进了自编码网络的解码效果,并成功地应用于全局异常行为检测的领域.基于稀疏自编码网络异常行为的检测过程是通过训练非异常行为的视频帧数据得到自编码网络模型,将待测视频帧输入模型,根据前向传播算法得到模型的输出,计算输出与输入之间的损失值,当该值高于某个阈值时,判定该视频帧中存在异常行为.通过在标准异常行为库开展的实验表明融合梯度差信息的稀疏去噪自编码网络算法较传统的稀疏去噪自编码网络算法在全局异常行为检测中更加有效.     

基于改进型时间分段网络的视频异常检测

视频异常检测是计算机视觉领域的一个重要研究课题,广泛应用于道路监控、异常事件监测等方面。考虑到异常行为的外观、运动特征与正常行为存在明显差异,提出一种改进型时间分段网络,利用该网络学习视频中的外观和运动信息,从而对视频异常行为进行预测。为了提取更多的视频信息,将RGB图和RGB帧差图相融合作为输入,以提取RGB图中的外观信息并通过RGB帧差图获得更有效的运动特征。将卷积注意力机制模块加入到时间分段网络模型中,从空间和通道2个不同的维度学习注意力图,利用学习到的注意力权重区分异常和正常的视频片段,同时运用焦点损失函数降低大量简单负样本在训练过程中所占的权重,使得模型更专注于难分类的样本,从而解决视频异常检测中正负样本比例不平衡的问题。实验结果表明,改进型时间分段网络在UCF-Crime和CUHK Avenue数据集上的AUC值分别达到77.6%和83.3%,检测性能优于基准方法TSN（RGB流）以及ISTL、3D-ConvAE等方法。     

基于智能监控的中小人群异常行为检测

针对人群异常行为检测实时性较差、分类算法识别率不高、特征量较少的问题,提出一种基于智能监控的中小人群异常行为检测算法。首先,利用快速群体密度检测算法,提取人群数量变化信息;其次,利用改进的Lucas-Kanande光流法提取视频中人群的平均动能、人群方向熵、人群距离势能;最后,利用极限学习机(ELM)算法对人群行为进行分类。使用UMN公共数据集进行测试,ELM算法对中小人群异常行为分析比中高密度人群异常行为检测算法和基于KOD能量特征的群体异常行为检测算法识别率分别高出7.13个百分点和5.89个百分点,并且人数密度估计部分平均每帧图像处理耗时相比中高密度人群异常行为检测算法减少了106 ms(近1/3)。实验结果表明:基于智能监控的中小人群异常行为检测算法能有效提高异常帧识别率和实时性。     

A Cognitive Memory-Augmented Network for Visual Anomaly Detection

With the rapid development of automated visual analysis, visual analysis systems have become a popular research topic in the field of computer vision and automated analysis. Visual analysis systems can assist humans to detect anomalous events (e.g., fighting, walking alone on the grass, etc). In general, the existing methods for visual anomaly detection are usually based on an autoencoder architecture, i.e., reconstructing the current frame or predicting the future frame. Then, the reconstruction error is adopted as the evaluation metric to identify whether an input is abnormal or not. The flaws of the existing methods are that abnormal samples can also be reconstructed well. In this paper, inspired by the human memory ability, we propose a novel deep neural network (DNN) based model termed cognitive memory-augmented network (CMAN) for the visual anomaly detection problem. The proposed CMAN model assumes that the visual analysis system imitates humans to remember normal samples and then distinguishes abnormal events from the collected videos. Specifically, in the proposed CMAN model, we introduce a memory module that is able to simulate the memory capacity of humans and a density estimation network that can learn the data distribution. The reconstruction errors and the novelty scores are used to distinguish abnormal events from videos. In addition, we develop a two-step scheme to train the proposed model so that the proposed memory module and the density estimation network can cooperate to improve performance. Comprehensive experiments evaluated on various popular benchmarks show the superiority and effectiveness of the proposed CMAN model for visual anomaly detection comparing with the state-of-the-arts methods. The implementation code of our CMAN method can be accessed at https://github.com/CMAN-code/CMAN_pytorch.      

基于Clite-YOLOv5的鸡状态检测算法

异常鸡的及时发现和处理能够极大地避免规模化养殖中传染病的传播,异常鸡常见的表征状态为鸡闭眼或眯眼。为实现肉鸡养殖过程中问题鸡只的实时监测,提出一种基于YOLOv5的鸡状态检测算法Clite-YOLOv5,该算法以YOLOv5为基础,进行了如下改进：提出融合了CBAM的lite-CBC3模块并用其重构了YOLOv5主干网络,提高了复杂背景下小目标的检测能力;采用改进后的Fuse-NMS抑制算法,降低了检测框的误删率并微调最终检测框;采用深度可分离卷积替换主干网络中的普通卷积,减少了模型的参数量,使模型更易在移动端部署。实验结果表明,提出的Clite-YOLOv5算法均值平均精度（mAP）为92.88%,视频帧率为92FPS,性能超过现有其他算法,能够满足鸡状态实时监测的需求。     

智能视频监控系统异常行为检测算法研究综述

随着公共安全需求的快速增长,监控摄像头数量不断增多,视频监控数据呈爆炸式增长;传统的视频监控系统难以对如此海量的数据进行理解分析,因此智能视频监控系统应运而生;作为一个跨学科的研究领域,智能视频监控系统异常行为检测技术迎来重大机遇的同时也面临不少挑战;为了更好地研究智能视频监控系统异常行为检测算法,梳理了相关研究并从原理上对不同算法进行分类,对基于能量、基于聚类、基于重构、基于推断以及基于深度学习几个不同依据的算法进行对比分析,归纳了各类算法的分支研究方向,接着简要介绍了异常行为检测常用的公开数据集,最后讨论了目前异常行为检测算法所面临的挑战并针对性地提出了未来智能视频监控系统异常行为检测算法的可行研究方向。     

基于主题隐马尔科夫模型的人体异常行为识别

针对基于监控视频的人体异常行为识别问题,提出了基于主题隐马尔科夫模型的人体异常行为识别方法,即通过无任何人工标注的视频训练集自动学习人体行为模型,并能够应用学到的人体行为模型实时检测异常行为和识别正常行为。这一方法主要围绕"低层视频表示-中层语义行为建模-高层语义分类"3个方面进行:1)基于时-空间兴趣点构建了一种紧凑的和有效的视频表示方法。2)提出一种新颖的语义主题模型(Topic Model,TM)——主题隐马尔科夫模型(Topic Hidden Markov Model,THMM),它能够自然地分组视频中检测到的人体行为。主题隐马尔科夫模型基于已有的马尔科夫模型和主题模型构造,不但聚类运动词汇成简单动作,而且聚类简单动作成全局行为,同时建模了行为时间上的相关性。THMM是一个4层贝叶斯主题模型,它将视频序列建模为行为的马尔科夫链,同时行为是视频序列中某些视频剪辑(Clip)的概率分布;将视频剪辑建模为动作的随机组合,同时动作是视频剪辑中运动词汇的概率分布。克服了传统隐马尔科夫模型和主题模型在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足。3)提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验(Likelihood Ratio Test,LRT)的实时正常行为分类方法,从而克服了实时行为识别过程中由于缺乏充分的视觉证据而引发的行为类型歧义,能完较好地完成监控场景中实时异常行为检测和在线正常行为识别的任务。取自实际监控场景的实验数据集上的实验结果证明了本方法的有效性。     

基于改进的稀疏重构算法的行人异常行为分析

针对视频监控中行人异常行为识别问题,首先对行人进行跟踪,然后对跟踪得到的轨迹进行分析,最后判断行人行为是否存在异常。在行人跟踪方面,在时空上下文跟踪算法的基础上结合卡尔曼滤波器,有效改进了复杂背景中的遮挡问题。在异常分析方面,将跟踪得到的目标轨迹按照轨迹形状进行分类,得到场景中的正常轨迹集;将这些轨迹集作为后续处理的训练样本集,通过改进的稀疏重构算法对轨迹进行分析,利用重构误差来判断异常。五段视频序列的测试结果表明,该方法与改进前的方法相比具有较高的识别率。     

自适应权重更新的轻量级视频目标分割算法

目的 针对现有视频目标分割（video object segmentation,VOS）算法不能自适应进行样本权重更新,以及使用过多的冗余特征信息导致不必要的空间与时间消耗等问题,提出一种自适应权重更新的轻量级视频目标分割算法。方法 首先,为建立一个具有较强目标判别性的算法模型,所提算法根据提取特征的表征质量,自适应地赋予特征相应的权重;其次,为了去除冗余信息,提高算法的运行速度,通过优化信息存储策略,构建了一个轻量级的记忆模块。结果 实验结果表明,在公开数据集DAVIS2016 （densely annotated video segmentation）和DAVIS2017上,本文算法的区域相似度与轮廓准确度的均值J&F分别达到了85.8%和78.3%,与对比的视频目标分割算法相比具有明显的优势。结论 通过合理且无冗余的历史帧信息利用方式,提升了算法对于目标建模的泛化能力,使目标掩码质量更高。     

Human behavior clustering for anomaly detection

This paper aims to address the problem of modeling human behavior patterns captured in surveillance videos for the application of online normal behavior recognition and anomaly detection. A novel framework is developed for automatic behavior modeling and online anomaly detection without the need for manual labeling of the training data set. The framework consists of the following key components. 1) A compact and effective behavior representation method is developed based on spatial-temporal interest point detection. 2) The natural grouping of behavior patterns is determined through a novel clustering algorithm, topic hidden Markov model (THMM) built upon the existing hidden Markov model (HMM) and latent Dirichlet allocation (LDA), which overcomes the current limitations in accuracy, robustness, and computational efficiency. The new model is a four-level hierarchical Bayesian model, in which each video is modeled as a Markov chain of behavior patterns where each behavior pattern is a distribution over some segments of the video. Each of these segments in the video can be modeled as a mixture of actions where each action is a distribution over spatial-temporal words. 3) An online anomaly measure is introduced to detect abnormal behavior, whereas normal behavior is recognized by runtime accumulative visual evidence using the likelihood ratio test (LRT) method. Experimental results demonstrate the effectiveness and robustness of our approach using noisy and sparse data sets collected from a real surveillance scenario.     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。