基于轨迹分段LDA主题模型的视频异常行为检测方法

基于目标轨迹的异常行为检测算法忽略了轨迹内部信息,容易导致异常检测虚警率偏高。为解决该问题,提出一种基于轨迹分段主题模型的视频异常行为检测方法。首先将目标原始轨迹根据轨迹转角分段,然后采用分段量化的方式提取轨迹片段中包含的行为特征信息,接着通过潜在狄利克雷分配(LDA)主题模型建模发掘目标轨迹之间的时空关系,最后通过学习所构建的模型并结合贝叶斯理论进行行为模式分析和异常行为检测。分别对两个视频场景进行了目标行为模式分析和异常行为检测的仿真实验,检测出了场景内多种异常行为模式。实验结果表明,通过结合轨迹分段与LDA主题模型,该算法能够充分挖掘目标轨迹内部的行为特征信息,识别多种异常行为模式,并且能提高对异常行为检测的准确率。     

基于轨迹词包模型的老人跌倒检测

针对异常行为检测受到光照变化、目标遮挡和计算复杂度高等因素的影响而导致检测效果不理想的问题,本文提出一种基于时空兴趣点和轨迹词包模型的异常行为检测算法。首先,利用时空兴趣提取目标的特征点信息;其次,利用稀疏光流法对特征点进行跟踪,获取目标的运动轨迹。然后,利用Meanshift聚类算法对轨迹进行聚类并构建轨迹词包模型。最后,利用SVM完成异常行为的判别。算法在不同视频数据库上进行了验证,并取得了93.3%的准确率。通过与以往的实验结果的比较,算法在异常行为检测方面具有较好的实时性、准确性和可靠性。     

iBTC:一种基于独立森林的移动对象轨迹聚类算法

移动对象轨迹聚类在城市规划、公共空间设计、移动对象行为预测等领域具有重要的理论指导意义和实际应用价值。针对传统聚类算法(如k-means,DBSCAN)在移动对象轨迹方面聚类效果不佳的问题,提出一种新的轨迹聚类算法iBTC。该算法首先对轨迹进行分段,根据最小描述长度原理,将轨迹分段问题转换为求无向图的最短路径问题,使用Dijkstra算法求得轨迹的最佳分段;然后将轨迹聚类问题转换为一种特殊的异常检测问题,并基于独立森林的思想,使用细分-合并过程对轨迹数据进行聚类;最后在模拟数据集和监控视频记录的行人轨迹公开数据集上进行实验,结果表明该算法能够取得较好的聚类效果。     

基于速度约束的分段轨迹聚类算法

目前的轨迹数据聚类直接对整条轨迹数据聚类,或先分段再对轨迹段聚类。分段聚类法抛弃轨迹段内部点,丢失轨迹局部特征,没有考虑点的速度影响。针对该问题,提出一种基于速度约束的分段轨迹数据聚类方法。该方法将速度约束和two-pass corner detection应用于轨迹分段,在邻域计算中加入速度约束,采用Discrete Fréchet Distance比较轨迹段距离,保留了轨迹段内部特征。用类似DBSCAN的TraDBSCAN算法对轨迹段进行聚类。实验结果表明,该方法考虑速度因素,可以获得更有效的聚类结果。     

基于冗余分组的轨迹摘要算法

为了对视频监控设备采集到的轨迹数据进行聚类和异常检测,提出了一种新的轨迹摘要算法。使用了Jensen-Shannon Divergence（JSD）度量方法实现了轨迹数据的重采样,使得计算轨迹间相似度的准确性有所提高,并为后续滤波过程提供了必要的等采样点个数的轨迹数据;自适应地确定轨迹相似性的阈值,并采用非局部的思想,将轨迹数据进行冗余分组,同时识别出异常轨迹数据;从信号处理的角度对分组后的轨迹数据进行硬阈值滤波,经过合并得到摘要轨迹;此外,不受轨迹输入顺序的影响,并且提供了可视化的多尺度轨迹摘要结果。与具有噪声的基于密度的聚类（DBSCAN）算法的异常检测效果进行对比,所提算法在准确率（Precision）、召回率（Recall）以及F1指标上均有所提升。     

基于二次谱聚类和HMM-RF混合模型的车辆行为识别方法研究

从高速交通监控视频中提取的车辆轨迹数据可以用于分析和识别车辆行为。由于从高速监控视频中提取的车辆轨迹中只有少量的变道、超车等类型轨迹,采用经典的最长公共子串(LCSS)相似度和谱聚类等算法无法有效地区分轨迹数据中所有类型的轨迹;此外,在车辆行为识别方面,常用的隐马尔科夫(HMM)轨迹模型忽略了负样本的影响,且仅用最大似然值进行分类,存在较高的误识别率。为了解决这些问题,分析和研究了高速监控视频中车辆轨迹数据的特点,提出了一种基于二次谱聚类和HMM-RF混合模型的车辆行为识别方法。该方法利用轨迹曲率来识别具有曲线轨迹特征的超车轨迹,利用倾角相似度和谱聚类算法来识别非曲线轨迹中的变道轨迹,并将得到的所有聚类簇用LCSS和谱聚类算法进行再聚类,从而有效地区分超车、变道以及直行轨迹等。在进行车辆行为识别时,该方法通过将不同HMM模型的多维概率输出作为随机森林RF模型的输入来识别多类型轨迹以替代最大似然值分类,提高了行为识别的正确率。为了验证方法的有效性,在不同数据集下进行实验,结果表明轨迹聚类的平均准确率为96%,而行为识别的平均准确率是89.3%,算法具有较高的准确率和鲁棒性。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义.针对传统算法检测实时性和准确性差,易受环境影响的问题,提出一种基于骨架序列提取的异常行为识别算法.首先,改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪,得到目标的运动轨迹;然后,利用OpenPose模型提取轨迹中目标的骨架序列;最后通过时空图卷积网络结合聚类对目标进行异常行为识别.实验结果表明,在存在光照变化的复杂环境下,算法识别准确率达94%,处理速度达18.25 fps,能够实时、准确地识别多种目标的异常行为.     

基于局部和全局特征视觉单词的人物行为识别

基于视觉单词的人物行为识别由于在特征中加入了中层语义信息,因此提高了识别的准确性。然而,视觉单词提取时由于前景和背景存在相互干扰,使得视觉单词的表达能力受到影响。提出一种结合局部和全局特征的视觉单词生成方法。该方法首先用显著图检测出前景人物区域,采用提出的动态阈值矩阵对人物区域用不同的阈值来分别检测时空兴趣点,并计算周围的3D-SIFT特征来描述局部信息。在此基础上,采用光流直方图特征描述行为的全局运动信息。通过谱聚类将局部和全局特征融合成视觉单词。实验证明,相对于流行的局部特征视觉单词生成方法,所提出的方法在简单背景的KTH数据集上的识别率比平均识别率提高了6.4%,在复杂背景的UCF数据集上的识别率比平均识别率提高了6.5%。     

基于改进FCM聚类算法的违禁品分类

针对被动毫米波(PMMW)图像成像质量差,边界模糊,不易识别的特点,在传统词袋模型图像分类的基础上,提出了利用减法聚类改进FCM聚类算法并将其运用到词袋模型上去,提取视觉单词,利用局部不变量SIFT方法对手枪、匕首和炸药进行了粗分类.实验结果证明,改进的词袋模型能够准确的对违禁品进行分类,识别率平均能达到90%以上,性能优于传统的K均值聚类和原始的FCM聚类算法.     

An Improved Hierarchical Dirichlet Process-Hidden Markov Model and Its Application to Trajectory Modeling and Retrieval

In this paper, we propose a hierarchical Bayesian model, an improved hierarchical Dirichlet process-hidden Markov model (iHDP-HMM), for visual document analysis. The iHDP-HMM is capable of clustering visual documents and capturing the temporal correlations between the visual words within a visual document while identifying the number of document clusters and the number of visual topics adaptively. A Bayesian inference mechanism for the iHDP-HMM is developed to carry out likelihood evaluation, topic estimation, and cluster membership prediction. We apply the iHDP-HMM to simultaneously cluster motion trajectories and discover latent topics for trajectory words, based on the proposed method for constructing the trajectory word codebook. Then, an iHDP-HMM-based probabilistic trajectory retrieval framework is developed. The experimental results verify the clustering accuracy of the iHDP-HMM and trajectory retrieval accuracy of the proposed framework.     

Trajectory Analysis and Semantic Region Modeling Using Nonparametric Hierarchical Bayesian Models

We propose a novel framework of using a nonparametric Bayesian model, called Dual Hierarchical Dirichlet Processes (Dual-HDP) (Wang et al. in IEEE Trans. Pattern Anal. Mach. Intell. 31:539–555, 2009), for unsupervised trajectory analysis and semantic region modeling in surveillance settings. In our approach, trajectories are treated as documents and observations of an object on a trajectory are treated as words in a document. Trajectories are clustered into different activities. Abnormal trajectories are detected as samples with low likelihoods. The semantic regions, which are subsets of paths commonly taken by objects and are related to activities in the scene, are also modeled. Under Dual-HDP, both the number of activity categories and the number of semantic regions are automatically learnt from data. In this paper, we further extend Dual-HDP to a Dynamic Dual-HDP model which allows dynamic update of activity models and online detection of normal/abnormal activities. Experiments are evaluated on a simulated data set and two real data sets, which include 8,478 radar tracks collected from a maritime port and 40,453 visual tracks collected from a parking lot.     

面向物联网移动终端设备的用户轨迹异常检测研究

为了有效地从物联网移动设备的数字信息中挖掘出用户在日常行为中的轨迹异常,针对现有用户异常轨迹检测算法效率低的问题,提出了一种双层聚类的用户轨迹异常检测方法。考虑到移动终端设备中的轨迹信息数据量大、分布不均匀等特点,该方法在特定的空间距离与时间间隔下提取出停留点集合,并对这些点进行层次聚类,根据结果划分出停留区域,进而发现其中的异常停留区域;最后,对停留区域之间发生的运动轨迹段进行二次层次聚类,发现异常轨迹段。实验结果表明,该方法在发现异常轨迹时,相较于传统算法,既全面地检测出异常轨迹,又加快了异常检测的速度。     

基于主题隐马尔科夫模型的人体异常行为识别

针对基于监控视频的人体异常行为识别问题,提出了基于主题隐马尔科夫模型的人体异常行为识别方法,即通过无任何人工标注的视频训练集自动学习人体行为模型,并能够应用学到的人体行为模型实时检测异常行为和识别正常行为。这一方法主要围绕"低层视频表示-中层语义行为建模-高层语义分类"3个方面进行:1)基于时-空间兴趣点构建了一种紧凑的和有效的视频表示方法。2)提出一种新颖的语义主题模型(Topic Model,TM)——主题隐马尔科夫模型(Topic Hidden Markov Model,THMM),它能够自然地分组视频中检测到的人体行为。主题隐马尔科夫模型基于已有的马尔科夫模型和主题模型构造,不但聚类运动词汇成简单动作,而且聚类简单动作成全局行为,同时建模了行为时间上的相关性。THMM是一个4层贝叶斯主题模型,它将视频序列建模为行为的马尔科夫链,同时行为是视频序列中某些视频剪辑(Clip)的概率分布;将视频剪辑建模为动作的随机组合,同时动作是视频剪辑中运动词汇的概率分布。克服了传统隐马尔科夫模型和主题模型在人体复杂行为建模过程中精度、鲁棒性和计算效率上的不足。3)提出运行时累积的异常性测度及其在线异常行为检测方法和基于在线似然比检验(Likelihood Ratio Test,LRT)的实时正常行为分类方法,从而克服了实时行为识别过程中由于缺乏充分的视觉证据而引发的行为类型歧义,能完较好地完成监控场景中实时异常行为检测和在线正常行为识别的任务。取自实际监控场景的实验数据集上的实验结果证明了本方法的有效性。     

Behavior pattern extraction by trajectory analysis

Trajectory clustering and behavior pattern extraction are the foundations of research into activity perception of objects in motion. In this paper, a new framework is proposed to extract behavior patterns through trajectory analysis. Firstly, we introduce directional trimmed mean distance (DTMD), a novel method used to measure similarity between trajectories. DTMD has the attributes of anti-noise, self-adaptation and the capability to determine the direction for each trajectory. Secondly, we use a hierarchical clustering algorithm to cluster trajectories. We design a length-weighted linkage rule to enhance the accuracy of trajectory clustering and reduce problems associated with incomplete trajectories. Thirdly, the motion model parameters are estimated for each trajectory’s classification, and behavior patterns for trajectories are extracted. Finally, the difference between normal and abnormal behaviors can be distinguished.     

基于双向非线性学习的轨迹跟踪和识别

目标的运动轨迹是跟踪和识别目标行为的重要特征之一,在视觉跟踪等领域得到了广泛的应用.然而,由于轨迹数据具有高维和非线性等特点,因而直接建模目标的运动轨迹比较困难.为此,引入一种称为自编码(autoencoder)的双向深层神经网络,并结合粒子滤波提出一种轨迹跟踪识别算法.首先,自编码网络按照一定的学习规则将高维轨迹嵌人到二维平面上,通过该网络的逆向映射得到轨迹的生成模型,由轨迹生成模型可得到一系列可行性轨迹.跟踪过程中,每时刻粒子滤波器的粒子便从这些可行性轨迹中进行抽样,并利用颜色似然函数对抽取的粒子进行加权以及再抽样从而实现对目标状态的估计,最后在二维平面中利用"最小距离分类器"对跟踪轨迹进行识别.特别地,自编码网络提供了高维轨迹空间和低维嵌套结构的双向映射,有效解决了大多数非线性降维方法(例如局部线性嵌入算法(LLE)和等度规映射(ISOMAP))所不具备的逆向映射问题.跟踪和识别手写数字实验表明所提出的方法能在复杂背景下精确跟踪目标并正确识别目标轨迹.     

基于主题模型的高分辨率遥感影像变化检测

提出一种基于主题模型的高分辨率遥感影像变化检测方法。将前后两期遥感影像对应的像素点对作为基本单位,提取其邻域亮度相关度、均值、标准差以及邻域回归直线的斜率、截距等低层次特征,在此基础上映射得到像素点对的高层次视觉单词特征,并通过潜在狄利克雷分配模型进行分析,挖掘其潜在的主题信息,即变化与不变,从而实现变化检测。实验结果表明,该方法能够有效检测高分辨率遥感影像的变化。     

Crowd behaviors analysis and abnormal detection based on surveillance data

Crowd analysis and abnormal trajectories detection are hot topics in computer vision and pattern recognition. As more and more video monitoring equipments are installed in public places for public security and management, researches become urgent to learn the crowd behavior patterns through the trajectories obtained by the intelligent video surveillance technology. In this paper, the FCM (Fuzzy c-means) algorithm is adopted to cluster the source points and sink points of trajectories that are deemed as critical points into several groups, and then the trajectory clusters can be acquired. The feature information statistical histogram for each trajectory cluster which contains the motion information will be built after refining them with Hausdorff distances. Eventually, the local motion coherence between test trajectories and refined trajectory clusters will be used to judge whether they are abnormal.     

真实场景运动目标轨迹有效性判断与自动聚类算法研究*

提出了真实场景中的运动目标轨迹有效性判断与自动聚类方法。利用轨迹长度、坐标值方差及目标相邻两帧运动方向等信息,对轨迹进行了预处理,得到有效的轨迹,然后以其作为样本,计算轨迹之间的空间相似距离,采用K均值聚类法,按轨迹的几何形状完成了轨迹聚类。提出了利用目标运动的起始点及整个运动过程中目标的运动方向信息,采用K均值聚类方法,进一步按目标的运动方向完成了轨迹聚类。两种真实场景的目标轨迹聚类结果证明了该方法的有效性。其研究结果为学习轨迹模式、目标运动轨迹识别、分类、异常检测奠定了基础。