基于记忆单元与多尺度结构相似性的异常检测

针对基于记忆单元的自编码器模型(Dynamic Prototype Unit Model,DPU)在检测视频异常时没有充分利用多层次特征、未考虑异常与正常事件间的结构性差异的问题,提出融合多尺度记忆模块和多尺度结构相似性的异常检测模型.新模型构建了多尺度记忆模块(Multi Scale Memory Module),利用不同尺度空间的记忆单元对编码层特征进行编码,并将编码结果与解码层特征拼接,既能保留网络的浅层细节信息,又能促进正常模式的多样性.为了约束对正常事件中结构信息的学习,组合多尺度结构相似性(Multi Scale Structure Similarity Index,MS-SSIM)误差与L 1误差作为目标函数,使预测视频中的事件结构更接近正常事件,提高视频中异常事件的预测误差.在标准数据集UCSD Ped1、UCSD Ped2和Avenue数据集上的实验结果表明,提出模型的帧级AUC比原模型分别提高了0.8%、3.4%和1.0%,帧率达到142.9 fps.     

融合小波变换和编解码注意力的异常检测

针对视频异常检测中对正常视频预测不准确、学习正常特征的能力欠佳的问题,提出融合小波变换和编解码注意力的异常检测模型。模型中引入多级离散小波变换,设计了一种离散小波变换融合模块,将由视频帧分解得到的多个子带图拼接,传入深度可分离卷积,再与编码器特征融合,以弥补下采样过程中丢失的高频细节信息;构建了一种编解码注意力模块,通过对编码器特征图进行高斯差分操作,然后分别沿水平和垂直方向获取注意力权重,再根据权重聚合编码器特征,最后关联解码器特征,增强网络对正常事件的学习。在Ped1、Ped2、Avenue数据集上的实验表明,采用提出的模块使模型的AUC分别提升了3.2%、3.1%、2.0%,说明该模块能有效提高模型检测异常的能力。