基于运动方向的异常行为检测

提出了一种基于运动方向的异常行为检测方法. 根据不同行为的运动方向具有不同的规律性, 该方法采用块运动方向描述不同的动作, 并利用支持向量机(Support vector machine, SVM)对实时监控视频进行异常行为检测. 为了减少噪声运动的影响, 同时有效保留小幅度运动的前景目标, 在行为描述之前, 本文采用了背景边缘模型对每一视频帧进行前景帧(有目标出现的视频帧)判断. 在行为描述时, 先提取相应视频段的所有前景帧的块运动方向, 然后对这些运动方向进行归一化直方图统计得到该视频段的行为特征. 在走廊等公共场景中的实验结果表明, 该方法能够对单人以及多人的复杂行为进行有效检测, 对运动过程中目标大小的变化、光照的变化以及噪声等具有较好的鲁棒性, 而且计算复杂度小, 能够实现实时监控.     

基于光流的ATM机异常行为实时检测

异常行为检测在自助银行智能监控系统领域中有广泛的应用前景.本文针对此应用领域,提出了基于区域光流特征的异常行为检测方法.首先利用混合高斯模型来表示背景像素的变化并自适应更新背景模型,用背景差法从视频序列中提取运动前景;采用lucas-kanade光流法计算出运动区域内的光流信息.采用基于幅值的加权方向直方图描述行为,计算区域内直方图的运动熵发现候选异常区域,再利用支持向量机进行分类.从实验结果可以看出,能够较好的识别出异常事件,并且实时性较好,能够满足实际应用需求.     

结合全局与局部视频表示的视频异常检测算法

针对视频异常行为检测问题,提出结合全局与局部视频表示的视频异常检测算法.首先将输入视频连续多帧划分为视频块.再按空间位置将视频块划分为互不重叠的时空立方体,利用时空立方体运动特征构建基于空间位置的全局时空网格位置支持向量数据描述模型(SVDD).然后针对视频运动目标,提取局部纹理运动特征,采用SVDD获得围绕目标特征的超球体边界,构建运动目标正常行为模型.最后组合两部分以实现更全面的检测.公共数据集上的实验验证文中算法的有效性.     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

基于肤色和行为的色情视频检测

传统色情视频识别方法大多是色情图像识别方法的直接扩展,没有考虑到“行为”这一包含在色情视频中的关键信息。光流上下文直方图能描述运动物体的连续动作,基于此,提出了一种新的用于描述行为的特征——光流上下文直方图（OFCH）,并采用主成分分析（PCA）进行特征降维,得到的PCA-OFCH特征用于训练敏感行为识别器;同时采用基于直方图技术的贝叶斯肤色预测模型对视频中是否含有足够的肤色信息进行判断,以降低对正常行为的误报率。实验结果表明,提出的基于PCA-OFCH特征结合肤色检测能有效地对色情视频和正常视频进行鉴别,为色情视频识别提供了新的思路。     

基于动态帧间间隔更新的人群异常行为检测

针对视频监控中人群异常行为检测方面存在的实时性和准确性问题,本文基于金字塔LK光流法提出一种动态帧间间隔更新的人群异常行为检测的方法. 该算法通过提取的人群运动信息来动态更新帧间间隔,接着以该帧间间隔来检测人群运动信息. 这样,算法不仅保留了原算法在检测人群运动信息方面优点,且有效提高了算法的运行效率. 最后,该算法通过获取的人群运动矢量交点密集度及能量信息来识别人群异常行为. 对多个视频进行测试,测试结果表明,该算法能够以较高正确率识别视频中人群的异常行为,同时还有效提高了算法的运行速度.     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

面向边缘端设备的轻量化视频异常事件检测方法

现有基于CNN模型的视频异常事件检测方法在精度不断提升的同时,面临架构复杂、参数庞大、训练冗长等问题,致使硬件算力需求高,难以适配无人机等计算资源有限的边缘端设备。为此,提出一种面向边缘端设备的轻量化异常事件检测方法,旨在平衡检测性能与推理延迟。首先,由原始视频序列提取梯度立方体与光流立方体作为事件表观与运动特征表示;其次,设计改进的小规模PCANet获取梯度立方体对应的高层次分块直方图特征;再次,根据每个局部分块的直方图特征分布情况计算表观异常得分,同时基于内部像素光流幅值累加计算运动异常得分;最后,依据表观与运动异常得分的加权融合值判别异常分块,实现表观与运动异常事件联合检测与定位。在公开数据集UCSD的Ped1与Ped2子集上进行实验验证,所提方法的帧层面AUC分别达到86.7%与94.9%,在领先大多数对比方法的同时参数量明显降低。实验结果表明该方法在低算力需求下,可以实现较高的异常检测稳定性和准确率,能够有效兼顾检测精度与计算资源,因此适用于低功耗边缘端设备。     

基于稠密光流和边缘特征的烟雾检测算法

为了克服传统火灾烟雾检测技术的缺陷,提高视频烟雾检测算法的检测率,通过观察烟雾运动的特性,提出一种基于稠密光流和边缘特征的烟雾检测算法。该算法首先利用混合高斯背景建模和帧差相结合的方法提取运动区域,然后将此运动区域池化为上、中、下三部分,并在每个池化区域提取光流矢量特征和边缘方向直方图。考虑到烟雾运动在时域中的连续相关性,提取相邻三帧的烟雾特征向量以提高算法的鲁棒性。最后使用支持向量机进行训练和烟雾检测。实验结果表明,该算法在测试视频集上准确率超过94%,与现有方法相比,能更好地适应实际应用中复杂的环境条件。     

融合生成模型和判别模型的双层RBM运动捕获数据语义识别算法

对人体运动捕获数据底层特征和高层语义之间常常存在语义鸿沟的问题,结合深度学习思想,提出一种融合受限玻尔兹曼机生成模型和判别模型的运动捕获数据语义识别算法.该算法采用双层受限玻尔兹曼机,分别对运动捕获数据进行判别性特征提取(特征提取层)和风格识别(语义判别层),首先考虑到自回归模型对时序信息具有出色的表达能力,构建一种基于单通道三元因子交互的条件限制玻尔兹曼机生成模型,用于提取运动捕捉数据的时空特征信息;然后将提取出的特征与对应的风格标签相耦合,作为语义判别层中受限玻尔兹曼机判别模型的当前帧数据层输入,进行单帧风格识别的训练;最后在获得各帧参数的基础上,在模型顶部加入投票空间实现对运动捕捉序列的风格语义的有效识别.实验结果表明,文中算法具有良好的鲁棒性和可扩展性,能够满足多样化运动序列识别的需求,便于数据的有效重用.     

基于深度学习的光流插帧边信息生成算法

在分布式视频编码(DVC)中,如何在各种运动场景下生成高质量的边信息并提升解码性能是一个重点研究领域。提出一种基于深度学习的光流插帧边信息生成算法(optical flow interpolation, OFI),编码端采用区间重叠的分布式算术编码(distributed arithmetic coding, DAC)对视频进行编码,解码端生成边信息时提取已解码关键帧,输入深度学习光流插帧网络。网络采用多层光流模块产生光流,并结合光流向后弯曲关键帧产生初步的边信息估计,再由融合过程消除遮挡产生更加细化的结果,最后边信息辅助解码树完成解码。实验结果表明,与现有方法相比,该方法PSNR最大可提升2.25 dB,主要体现在线性运动场景下。同时在线性和非线性场景下SSIM指标可提升0.001 5～0.064 8,在解码视频率失真曲线上也体现出一致的结果,证明了该算法对线性运动边信息估计有较好的提升,对非线性运动边信息结构也有良好的恢复性。     

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

融合自编码器和one-class SVM的异常事件检测

目的 在自动化和智能化的现代生产制造过程中,视频异常事件检测技术扮演着越来越重要的角色,但由于实际生产制造中异常事件的复杂性及无关生产背景的干扰,使其成为一项非常具有挑战性的任务。很多传统方法采用手工设计的低级特征对视频的局部区域进行特征提取,然而此特征很难同时表示运动与外观特征。此外,一些基于深度学习的视频异常事件检测方法直接通过自编码器的重构误差大小来判定测试样本是否为正常或异常事件,然而实际情况往往会出现一些原本为异常的测试样本经过自编码得到的重构误差也小于设定阈值,从而将其错误地判定为正常事件,出现异常事件漏检的情形。针对此不足,本文提出一种融合自编码器和one-class支持向量机（support vector machine,SVM）的异常事件检测模型。方法 通过高斯混合模型（Gaussian mixture model,GMM）提取固定大小的时空兴趣块（region of interest,ROI）;通过预训练的3维卷积神经网络（3D convolutional neural network,C3D）对ROI进行高层次的特征提取;利用提取的高维特征训练一个堆叠的降噪自编码器,通过比较重构误差与设定阈值的大小,将测试样本判定为正常、异常和可疑3种情况之一;对自编码器降维后的特征训练一个one-class SVM模型,用于对可疑测试样本进行二次检测,进一步排除异常事件。结果 本文对实际生产制造环境下的机器人工作场景进行实验,采用AUC （area under ROC）和等错误率（equal error rate,EER）两个常用指标进行评估。在设定合适的误差阈值时,结果显示受试者工作特征（receiver operating characteristic,ROC）曲线下AUC达到91.7%,EER为13.8%。同时,在公共数据特征集USCD （University of California,San Diego） Ped1和USCD Ped2上进行了模型评估,并与一些常用方法进行了比较,在USCD Ped1数据集中,相比于性能第2的方法,AUC在帧级别和像素级别分别提高了2.6%和22.3%;在USCD Ped2数据集中,相比于性能第2的方法,AUC在帧级别提高了6.7%,从而验证了所提检测方法的有效性与准确性。结论 本文提出的视频异常事件检测模型,结合了传统模型与深度学习模型,使视频异常事件检测结果更加准确。