时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义.针对传统算法检测实时性和准确性差,易受环境影响的问题,提出一种基于骨架序列提取的异常行为识别算法.首先,改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪,得到目标的运动轨迹;然后,利用OpenPose模型提取轨迹中目标的骨架序列;最后通过时空图卷积网络结合聚类对目标进行异常行为识别.实验结果表明,在存在光照变化的复杂环境下,算法识别准确率达94%,处理速度达18.25 fps,能够实时、准确地识别多种目标的异常行为.     

人群异常状态检测的图分析方法

提出一种图分析方法用于动态人群场景异常状态检测. 使用自适应Mean shift算法对场景速度场进行非参数概率密度估计聚类, 聚类结果构成以聚类中心为顶点、各聚类中心之间距离为边权重的无向图. 通过分析图顶点的空间分布及边权重矩阵动态系统的预测值与观测值之间的离散程度,对动态场景中的异常事件进行检测和定位. 使用多个典型动态场景视频数据库进行对比实验,结果表明图分析方法适应性强、可有效监控动态人群场景中的异常状态.     

基于视频监控参考量的异常行为检测研究

为了解决传统算法难以检测一般动态场景情形下人体运动目标的问题,文中提出了一种新的人体运动异常行为的检测方法,该方法组合利用视频监控各个的参考量。文中针对视频序列中人的行为进行分析,目的是检测出人的异常行为,具体涉及：人体运动目标的检测、跟踪与提取,异常行为检测等。文中阐述了异常行为检测的相关概念,介绍了视频监控参考量各个参数的计算方法,探讨了异常行为检测与分类技术的关系。结合异常行为检测与分类的相似性,提出了基于视频监控参考量的算法的异常行为检测方法,给出了其计算方法,并确定了检测的过程,分析该方法的特点和优势。     

基于动态帧间间隔更新的人群异常行为检测

针对视频监控中人群异常行为检测方面存在的实时性和准确性问题,本文基于金字塔LK光流法提出一种动态帧间间隔更新的人群异常行为检测的方法. 该算法通过提取的人群运动信息来动态更新帧间间隔,接着以该帧间间隔来检测人群运动信息. 这样,算法不仅保留了原算法在检测人群运动信息方面优点,且有效提高了算法的运行效率. 最后,该算法通过获取的人群运动矢量交点密集度及能量信息来识别人群异常行为. 对多个视频进行测试,测试结果表明,该算法能够以较高正确率识别视频中人群的异常行为,同时还有效提高了算法的运行速度.     

基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

基于轨迹分段LDA主题模型的视频异常行为检测方法

基于目标轨迹的异常行为检测算法忽略了轨迹内部信息,容易导致异常检测虚警率偏高。为解决该问题,提出一种基于轨迹分段主题模型的视频异常行为检测方法。首先将目标原始轨迹根据轨迹转角分段,然后采用分段量化的方式提取轨迹片段中包含的行为特征信息,接着通过潜在狄利克雷分配(LDA)主题模型建模发掘目标轨迹之间的时空关系,最后通过学习所构建的模型并结合贝叶斯理论进行行为模式分析和异常行为检测。分别对两个视频场景进行了目标行为模式分析和异常行为检测的仿真实验,检测出了场景内多种异常行为模式。实验结果表明,通过结合轨迹分段与LDA主题模型,该算法能够充分挖掘目标轨迹内部的行为特征信息,识别多种异常行为模式,并且能提高对异常行为检测的准确率。     

基于摄像机动态标定的交通能见度估计

为克服雾天能见度检测仪价格昂贵、检测范围小等缺点,该文结合雾天光线传输模型与摄像机几何光学模型提出一种交通能见度估计算法.该算法通过动态标定交通摄像机内外参数来计算路面区域内点到摄像机的距离,利用场景透射率得到大气消光系数并估计交通能见度.首先,算法基于活动图提取感兴趣区域,再根据区域内平均像素拟合曲线是否满足刃边函数对雾天进行识别;其次,通过暗原色先验原理估计交通场景中每一个点的透射率,并且选取道路上4组透射率差值最大的点对摄像机内部参数标定;然后,提取消失点及车道边缘线完成摄像机外部参数动态标定;最后,通过路面上点到摄像机的距离以及相应的场景透射率估计交通场景的能见度.该文将雾天多个交通场景下能见度值计算结果与人工观测、物理仪器测量等方法进行了比较,结果证明了该文方法的有效性与实时性.     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

基于有向网络非对等关系的异常子图识别算法

图异常检测将实体间通联关系抽象为复杂网络形式表示,旨在利用结构特征识别网络中存在的异常行为与实体,具有关系客观存在且异常可解释较强的优点。目前该类方法主要以无向网络结构为基础提取特征,以达到识别异常的目的,主要关注于连边层面异常结构,对于由集体异常行为构成的异常子图识别问题研究仍较少,缺少对行为方向异常协同关系的分析。传统方法通过提取节点邻域结构特征构建特征空间,并根据节点邻域结构在特征空间中的映射点距离发现离群点,虽可发现结构具有明显差异的异常子图,但忽略了网络结构中节点的实际物理联系,以及行为由于主客体不同所导致个体间关系非对等的实际情况。针对该问题,本文提出了基于有向网络非对等关系的异常子图识别算法,通过连边方向信息提取节点间行为方向特征,度量节点间关系非对等强度,后转化为子图密度形式表示,结合基于密度的异常识别方法挖掘异常,保留了实际物理联系。通过在4种不同异常类型的合成数据集与存在实际异常的真实数据集上进行实验,验证了其具有较高的异常识别精度与鲁棒性。     

Novelty detection in wildlife scenes through semantic context modelling

Novelty detection is an important functionality that has found many applications in information retrieval and processing. In this paper we propose a novel framework that deals with novelty detection in multiple-scene image sets. Working with wildlife image data, the framework starts with image segmentation, followed by feature extraction and classification of the image blocks extracted from image segments. The labelled image blocks are then scanned through to generate a co-occurrence matrix of object labels, representing the semantic context within the scene. The semantic co-occurrence matrices then undergo binarization and principal component analysis for dimension reduction, forming the basis for constructing one-class models on scene categories. An algorithm for outliers detection that employs multiple one-class models is proposed. An advantage of our approach is that it can be used for novelty detection and scene classification at the same time. Our experiments show that the proposed approach algorithm gives favourable performance for the task of detecting novel wildlife scenes, and binarization of the semantic co-occurrence matrices helps increase the robustness to variations of scene statistics.     

基于时空特征点的群体异常行为检测算法研究

提出了用时空特征点描述群体行为的新方法。首先对比分析时空Harris角点、Gabor小波、Hessian矩阵三种特征点提取方法,选择了基于Hessian矩阵的尺度不变方法提取特征点;分别采用梯度直方图、光流直方图以及时空Haar特征三种方法对特征点构建描述符。采用Bag-of-words策略对正常行为建模,使用基于EM估计的高斯混合模型建模产生关键词,根据关键词为每一视频片段建立一个带有概率分布的编码向量,形成编码表。异常行为的检测是将测试样本的编码向量与训练样本编码表进行比较,计算相似度距离,当最小距离大于阈值时,判该群体行为异常。在UCF和UMN两种群体行为数据集下的实验结果表明,该方法能够对群体异常行为进行有效识别,对尺度变化以及背景光照变化等具有较好的适应性。     

基于分层词袋模型的室外环境增量式场景发现

场景理解是机器人在多样化环境中自主执行任务的前提,而场景发现是场景理解的一个重要内容.由于具体场景在空间和时间上存在连续性,可以假定移动机器人在某一段时间内处于同一场景,并且属于同一场景的图像序列的视觉观感是相似的,因此提出无需先验知识的增量式室外场景发现,通过分层词袋模型建立图像和场景的联系,使得场景发现过程更加类似人类认知模式.对于机器人实时获取的每一副图像,首先将其分块,然后利用动态聚类算法增量式地得到相应的低层词典,并据此词典提取高层词袋模型特征,接下来,再用另一动态聚类算法增量式地完成场景发现,从而判断当前图像属于一个已经历场景,或未经历场景,直到发现新场景.实验结果证明,该方法能够在没有先验知识的情况下有效完成自主场景发现.     

一种基于模糊阈值的直线拟合策略在铁路沿线柱体检测及距离估计中的应用

首先提出了一种单幅图像中由边缘检测自动估计铁路沿线柱体到铁轨大致距离的方法，该方法主要通过对铁轨及其沿线柱体的检测、分类识别和距离估计来完成。因为如何在有畸变和复杂背景的图像中准确和有效检测边缘在图像处理和模式识别中一直是一个关键而困难的问题，为此提出了一种基于模糊阈值的直线连接拟合策略，该策略主要包括3个步骤：边缘提取、角点检测和基于模糊阈值的直线递归拟合。该策略可以有效地在有图像畸变和复杂背景的实际拍摄图片中通过参数控制获取感兴趣目标的直线边界。实验结果证明本文的直线拟合策略是精确的和具有鲁棒性的，距离估计方法是有效的。     

自然场景下乌金体藏文的检测与识别

自然场景乌金体藏文文本信息作为高度浓缩的高层语义信息,不仅具有较大的研究和实用价值,而且可以用于协助藏文场景文本理解领域的研究.目前针对自然场景下乌金体藏文的检测与识别的相关研究甚少,本文在人工收集的自然场景乌金体藏文图像数据集的基础上,对比了目前常见的文字检测算法在自然场景乌金体藏文上的检测性能以及在不同特征提取网络下基于序列的文字识别算法CRNN在自然场景乌金体藏文图像数据集上的识别准确率并分析了在314张真实自然场景下乌金体藏文识别出错的特殊例子.实验表明本文在文字检测阶段采用的可微分的二值化网络DBNet在测试集上具有更好的检测性能,该方法在测试集上的准确率、召回率、F1值分别达到了0.89、0.59、0.71;在文字识别阶段采用MobileNetV3 Large作为特征提取网络时,CRNN算法在测试集上的识别准确率最高,达到了0.4365.     

融合时序相关性的课堂异常行为识别

针对人体行为最重要的motion特征,提出了基于时间上下文的二级递推异常行为识别方法.不同于传统深度学习的训练方法,本文方法不是直接从图像数据中学习特征,而是把提取的形状信息HOG特征作为训练输入.首先提取基于HOG算法的图像形状特征,采用提取到的特征训练DBN网络.其次利用已经训练好的DBN网络和Softmax分类器识别出人体粗目标区,然后根据粗目标区域的时序上下文信息,计算质心加速度.最后判断加速度的阈值,识别出异常行为的精目标区.本文将粗细目标结合的二级递推方法应用到课堂行为识别中,通过实验结果表明,该方法在运动模糊和目标密集遮挡的场景下都能较好地识别出课堂行为,识别率相比其他方法有较大提升.课堂异常行为数据分析,可在课堂动态管理和学习效果评估等方面发挥辅助作用.     

Top-down guided eye movements

Eye movements (EMs) are an important aspect of human visual behavior. The temporal and space-variant nature of sampling a visual scene requires frequent attentional gaze shifts (saccades) to fixate onto different parts of an image. Fixations are often directed toward the most informative regions in the visual scene. We introduce a model and its simulation that can select such regions based on prior knowledge of similar scenes. Having representations of scenes as a probabilistic combination of regions with certain properties, it is possible to assess the likely contribution of each region in the successive recognition process. Using Bayesian conditional probabilities for each region given the scene category, the model can then predict the informative value of that region and initiate a spatial information-gathering algorithm analogous to an EM saccade to a new fixation.     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。