伪异常引导的卷积自编码网络视频异常检测

视频异常检测由于可以高效、低成本地维护公共安全,在国家安防、医疗监护中发挥着重要作用.基于重构的深度自编码网络异常检测方法因其强大的表示能力而得到了广泛的研究.然而,自编码网络通常也可以成功地重建异常行为,从而导致异常行为的漏检.针对这一问题,提出了一种伪异常引导的卷积自编码网络视频异常检测方法,模型使用3D卷积提取视频时空特征.首先,通过正常数据模拟异常数据分布生成伪异常,提出了两种生成伪异常的方法：基于跳帧的方法和基于补丁的方法;然后,使用正常数据和生成的伪异常数据训练模型,训练时较好地重建正常数据同时较差地重建伪异常数据,由此模型被鼓励为限制异常数据的重建;最后,在UCSD-Ped2、Avenue和ShanghaiTech三个公共视频异常检测数据集上与其他基于重建的模型进行比较,其检测精度获得了有效提升.     

基于场景相似性和光流的人群异常检测方法

针对视频中人群异常行为检测问题,提出一种基于场景相似性和光流的人群异常行为检测方法。该方法分别使用卷积网络和光流提取视频中人群的外观特征和运动特征。在外观特征方面,使用感知哈希算法得到场景相似性异常值;在运动特征方面,改进Shi-Tomasi特征提取算法,并利用局部光流法提取运动特征异常值。文中将两种特征的异常值融合作为异常行为的判定依据。在异常行为建模方面,使用单分类SVM对异常值进行建模。在UMN基准数据集上进行对比试验,文中提出的融合方法取得了较好的检测效果,AUC值能够达到0.91。     

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。     

基于3D卷积自编码器的视频异常行为检测

视频异常行为检测是目前计算机视觉领域的热点问题之一.然而,由于异常行为难以具体定义,使得基于监督学习的二类分类方法难以应用在该领域.本文提出了一种无监督的视频异常检测模型,称之为基于时空特征融合的3D自编码器模型(ST-3DCAE).模型采用PWCNet提取场景光流特征图,并与原视频帧融合作为基本单元,由多个基本单元组成连续基本单元作为模型的输入;利用3DConv和ConvLSTM模块进行时空特征的自主提取,3DSEblock模块进行重要特征的筛选;最终,通过输入数据和自编码器重建视频块之间的重建误差,来判断视频是否出现异常行为.通过在UCSD、Avenue等公开数据集上进行验证,实验结果的定性和定量分析证明了本方法具有较好的性能.     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

一种基于运动相似熵的人群异常行为检测

实现对人群异常事件的检测是图形处理在智能视频监控领域的重要研究内容.提出了一种基于运动相似性熵(EMS)的人群异常行为检测算法.该算法在对视频图像进行光流计算的基础上,以底层光流块为基本单位获取场景运动信息,根据社会网络模型的概念,提出构建场景的运动网络模型(MNM),完成对场景粒子运动相似性的划分,并在时间域上计算MNM的粒子分布熵值EMS,最后将得到的图像熵与设置合理的阈值相比,判断异常行为是否发生.实验证明,该算法可有效检测异常行为,与其他经典检测算法相比有较大优势.     

基于自编码网络特征降维的轻量级入侵检测模型

基于支持向量机(SVM)的入侵检测方法受时间和空间复杂度约束,在高维特征空间计算时面临“维数灾害”的问题.为此,本文提出一种基于自编码网络的支持向量机入侵检测模型(AN-SVM).首先,该模型采用多层无监督的限制玻尔兹曼机(RBM)将高维、非线性的原始数据映射至低维空间,建立高维空间和低维空间的双向映射自编码网络结构,进而运用基于反向传播网络的自编码网络权值微调算法重构低维空间数据的最优高维表示,从而获得原始数据的相应最优低维表示;最后,采用SVM分类算法对所学习到的最优低维表示进行入侵识别.实验结果表明,AN-SVM模型降低了入侵检测模型中分类的训练时间和测试时间,并且分类效果优于传统算法,是一种可行且高效的轻量级入侵检测模型.     

基于自编码器结构改进的无监督图像异常检测

基于自编码器结构的无监督学习算法已经被广泛应用在异常检测中如智能制造、医疗影像、安防监控等领域。针对现有的基于自编码器结构的图像异常算法模型与传统有监督模型相比仍存在识别精度差、鲁棒性较差、训练效率低的问题,提出了基于图像特征重建方法的自编码器架构和基于迁移学习思想对自编码器进行特征增强处理的异常检测算法。通过引入预先训练的特征提取网络作为前置图像特征提取模块完成对输入图像多尺度特征的提取和融合,得到输入图像的多尺度特征融合图,再据此选择搭另一个预训练网络和自编码器组成Teacher-Student模型,完成自编码器模型的快速收敛。基于多尺度特征融合图的重建思想是利用了图像卷积特征的可判别性,实现了对图像潜在的异常信息的辨识。在自编码器与预训练网络构成的T-S模型中,经过预训练的T模型将S模型的解空间限定在一定范围,极大加速了模型的训练过程。在MVTec-AD标准数据集上将本文所提方法与现有方法进行实验对比,验证了方法的可行性。     

改进的编码-解码时序动作检测算法

时序动作检测作为视频理解中的一项基本任务,被广泛应用于人机交互、视频监控、智能安防等领域.基于卷积神经网络,提出了一种改进的编码-解码时序动作检测算法.改进后的算法分两阶段进行:首先,替换特征提取网络,用残差结构网络提取视频帧的深度特征;之后,构建编码-解码时序卷积网络.采用联接的方式进行特征融合,改进上采样的形式,并运用新的激活函数LReLU进行训练,提高网络的检测精度.实验结果表明,所提算法在时序动作检测数据集MERL Shopping和GTEA上取得了优良的效果.     

TVBN-ResNeXt:解决视频分类的端到端时空双流融合网络

针对如何利用视频中空域C3D与光流2D网络的互补性、光流高效计算与存储问题,提出基于端到端时空双流卷积网络融合的视频分类算法(TV BN-Inception network and ResNeXt-101 TVBN-ResNeXt),可融合C3D与自学习端到端光流卷积网络的优点。针对空间流,首先基于C3D 的ResNeXt-101残差网络进行空域视频分类;然后另一支路使用端到端时间流网络,由TVnet网络实时进行光流学习,其次针对堆叠光流特征数据利用BN-Inception网络进行视频分类;最后将双流支路的视频分类结果进行加权融合形成最后判决。在UCF-101和HMDB-51数据集上的实验分别达到94.6%和70.4%的准确率。结果表明,本文提出的TVBN-ResNeXt双流互补网络融合方法不但可解决光流自学习问题,提高网络的运行效率,还可有效提高视频分类的性能      

多通道时空融合网络双人交互行为识别

提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络（1DCNN）和双向长短时记忆网络（BiLSTM）学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。     

Bi-READ: Bi-Residual AutoEncoder based feature enhancement for video anomaly detection

Video anomaly detection (VAD) refers to identifying abnormal events in the surveillance video. Typically, reconstruction based video anomaly detection techniques employ convolutional autoencoders with a limited number of layers, which extracts insufficient features leading to improper network training. To address this challenge, an end-to-end unsupervised feature enhancement network, namely Bi-Residual Convolutional AutoEncoder (Bi-ResCAE) has been proposed that can learn normal events with low reconstruction error and detect anomalies with high reconstruction error. The proposed Bi-ResCAE network incorporates long–short residual connections to enhance feature reusability and training stabilization. In addition, we propose to formulate a novel VAD model that can extract appearance and motion features by fusing both the Bi-ResCAE network and optical flow network in the objective function to recognize the anomalous object in the video. Extensive experiments on three benchmark datasets validate the effectiveness of the model. The proposed model achieves an AUC (Area Under the ROC Curve) of 84.7% on Ped1, 97.7% on Ped2, and 86.71% on the Avenue dataset. The results show that the Bi-READ performs better than state-of-the-art techniques.     

Detection of loop closure in visual SLAM:a stacked assorted auto-encoder based approach

The current mainstream methods of loop closure detection in visual simultaneous localization and mapping (SLAM) are based on bag-of-words (BoW). However, traditional BoW-based approaches are strongly affected by changes in the appearance of the scene, which leads to poor robustness and low precision. In order to improve the precision and robustness of loop closure detection, a novel approach based on stacked assorted auto-encoder (SAAE) is proposed. The traditional stacked auto-encoder is made up of multiple layers of the same autoencoder. Compared with the visual BoW model, although it can better extract the features of the scene image, the output feature dimension is high. The proposed SAAE is composed of multiple layers of denoising auto-encoder, convolutional auto-encoder and sparse auto-encoder, it uses denoising auto-encoder to improve the robustness of image features, convolutional auto-encoder to preserve the spatial information of the image, and sparse auto-encoder to reduce the dimensionality of image features. It is capable of extracting low to high dimensional features of the scene image and preserving the spatial local characteristics of the image, which makes the output features more robust. The performance of SAAE is evaluated by a comparison study using data from new college dataset and city centre dataset. The methodology proposed in this paper can effectively improve the precision and robustness of loop closure detection in visual SLAM.     

时空深度特征AP聚类的稀疏表示视频异常检测算法

针对异常行为检测问题, 提出基于时空深度特征的AP聚类稀疏表示视频异常检测方法。由于视频序列中大量背景信息及有效信息分布不均匀的情况，首先利用光流结合非均匀的细胞分割对视频的运动目标进行提取并得到空间尺寸大小不同的时空兴趣块。其次利用三维卷积神经网络提取不同时空兴趣块的时空深度特征从而对原始视频序列进行三维描述。然后在字典学习时，采用AP聚类方法，将训练样本中具有代表性的特征作为字典，极大降低字典维度以及稀疏表示方法对计算内存的要求。本文将测试样本进行AP聚类后仅对具有代表性的聚类中心进行检测，在减少实验时间的同时削减了阈值对检测效果的敏感度。实验结果表明，与现有的检测方法相比本文方法具有优越性。      

A comparative study between single and multi-frame anomaly detection and localization in recorded video streams

Video anomaly detection is usually studied by considering the spatial and temporal contexts. This paper focuses first on spatial context and shows that it can be a fast real-time solution. In the first part of this work there are two main contributions: employing a new deep network for reconstruction and introducing a new regularity scoring function. The new deep architecture is based on pyramid of input images and compared to UNet, the proposed architecture boosts AUC by 15% and the new regularity scoring function is based on SSIM. The second part employs a multiframe approach to distinguish temporal behavior anomalies. The second approach enhances the results by 7% compared to spatial anomaly detection. Comparing the two approaches, if computing power is limited and real time anomaly detection is looked for, single frame detection is preferred while multi frame analysis offers a much wider possibility of anomaly detection.     

一种基于LSTM自动编码机的工业系统异常检测方法

在工业互联网的环境下,自动有效的异常检测方法对工业系统的安全、稳定生产具有重要的意义。传统的异常检测方法存在需要大量标注样本、不适应高维度时序数据等不足,提出一种基于LSTM自动编码机的工业系统异常检测方法。为克服现有方法依赖标注样本的不足,提出采用自动编码机,通过无监督的方式学习大量正常样本的特征和模式,在此基础上通过对样本进行重构和计算重构误差的方式进行异常检测。其次,为克服现有方法不适应高维度时序数据的不足,提出采用双向LSTM作为编码器,进而挖掘多维时序数据的潜在特征。基于一个真实造纸工业的数据集的实验表明,所提方法在各项指标上都对现有无监督异常检测方法有一定的提升,检测的总体精度达到了93.4%。     

Spatiotemporal squeeze-and-excitation residual multiplier network for video action recognition

Aiming at the shortcomings of shallow networks and general deep models in two-stream network structure,which could not effectively learn spatial and temporal information,a squeeze-and-excitation residual network was proposed for action recognition with a spatial stream and a temporal stream.Meanwhile,the long-term temporal dependence was captured by injecting the identity mapping kernel into the network as a temporal filter.Spatiotemporal feature multiplication fusion was used to further enhance the interaction between spatial information and temporal information of squeeze-and-excitation residual networks.Simultaneously,the influence of spatial-temporal stream multiplication fusion methods,times and locations on the performance of action recognition was studied.Given the limitations of performance achieved by a single model,three different strategies were proposed to generate multiple models,and the final recognition result was obtained by integrating these models through averaging and weighted averaging.The experimental results on the HMDB51 and UCF101 datasets show that the proposed spatiotemporal squeeze-and-excitation residual multiplier networks can effectively improve the performance of action recognition.     

基于卷积稀疏自编码的图像超分辨率重建

针对卷积稀疏编码算法中特征映射的准确性的问题,为了进一步提高图像超分辨率重建的的质量,文中提出一种基于卷积稀疏自编码的图像超分辨率重建算法。该算法首先在预训练阶段利用稀疏自编码器对输入高低分辨率图像分别进行训练,得到对应的图像稀疏特征表示;然后再由卷积神经网络根据得到的稀疏系数共同训练相应的滤波器及特征映射函数并更新到最优解;最后由高分辨率滤波器和对应的稀疏表示系数卷积求和,得到高分辨率重建图像估计。实验结果显示,改进算法的峰值信噪比（PSNR）结果较卷积稀疏编码算法提高了近0.1 dB,有效提高了重建图像的质量。     

基于CNN-WF的高灵敏紫外成像仪中的图像配准与融合

针对现有紫外成像仪中紫外光与可见光图像配准实时性差,精度不高等问题,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)与小波融合(Wavelet Fusion,WF)的紫外光与可见光图像配准融合方法,并将其应用于高灵敏紫外成像仪中.首先,结合刚体变换和卷积神经网络对采集到的图像数据进行参数模型预训练,通过自主挖掘图像特征寻找到最优空间变换参数,实现紫外光图像与可见光图像的精确配准;其次,利用二维小波分解与重构算法实现紫外光与可见光图像的融合.实验结果表明,所提方法的紫外光图像与可见光图像配准速度快,叠加精度高,且具有良好的稳定性.     

基于深度自编码-高斯混合模型的视频异常检测方法

由于异常定义的模糊性和真实数据的复杂性,视频异常检测是智能视频监控中最具挑战性的问题之一。基于自动编码器(AE)的帧重建（当前或未来帧）是一种流行的视频异常检测方法。使用在正常数据上训练的模型,异常场景的重建误差通常比正常场景的重建误差大得多。但是,这类方法忽略了正常数据本身的内部结构,效率较低。基于此,提出了一种深度自动编码高斯混合模型(DAGMM)。首先利用深度自动编码器获得输入视频片段的生成低维表示和重构误差,并将其进一步输入高斯混合模型(GMM)。而估计网络则通过高斯混合模型预测能量概率,然后通过能量密度概率判断异常。DAGMM以端到端的方式同时联合优化深度自动编码器和GMM的参数,能够平衡自动编码重建、低维表示的密度估计和正则化,泛化能力强。在两个公共基准数据集上的实验结果表明,DAGMM达到了现有最高技术发展水平,在UCSD Ped2和ShanghaiTech两个数据集上分别取得了95.7%和72.9%的帧级AUC。