基于双重动态记忆网络的弱监督视频异常检测

视频异常检测需从整段视频中识别帧级别的异常行为。弱监督方法使用正常与异常视频，辅以视频级别标签训练模型，相比无监督视方法展现出了更优越的性能。然而，目前的弱监督视频异常检测方法无法记录视频长期模态，且部分方法为了获得更优的检测效果，利用了未来帧的信息，导致无法在线应用。为此，文中首次提出了一种基于双重动态记忆网络的弱监督视频异常检测方法，通过设计包含两个记忆模块的记忆网络来分别记录视频中长期的正常和异常模态。为了实现视频特征和记忆项的协同更新，采用读操作基于记忆模块中的记忆项对视频帧的特征进行增强，采用写操作基于视频帧特征对记忆项的内容进行更新，同时记忆项的数量在训练的过程中会动态调整从而适应不同视频监控场景的需求。在训练时，设计模态分离损失增加记忆项之间的区分度。在测试时，仅需要记忆项而不需要未来视频帧的参与，从而实现准确的在线检测。在两个公开的弱监督视频异常检测数据集上的实验结果表明，所提方法优于所有在线应用的方法，相比只能离线应用的方法也具有很强的竞争力。