复杂背景下人体检测算法

静态图像的人体识别技术在实际视频监控场景中, 面临背景复杂、图像分辨率低、光照影响和噪声干扰等问题, 这些多变性以及可能发生的遮挡给单一图像中的人体识别技术提出了挑战. 设计和实现一种复杂背景下的人体检测算法, 基于HOG人体检测算法, 使用积分直方图计算HOG特征, 并用级联SVM分类器对样本进行训练. 实验结果表明, 该算法在复杂视频监控场景中进行人体检测比其它人体检测算法具有更高的准确率和更快的检测速度.     

基于轨迹特征分析的行人异常行为识别

提出一个以行人为目标的视频监控系统,利用行人的移动轨迹特征来判断是否发生异常行为。利用背景相减法来检测是否有目标的存在,并利用目标的各种信息来追踪行人;建立目标行为模型,利用模型有效地识别目标的各种行为;利用轨迹对比的方式完成相关事件的轨迹检索,并供后续查询。实验表明,本算法可行、性能稳定。     

基于OpenPose人体姿态识别的变电站危险行为检测

视频监控是变电站安全管控的一大方式。然而目前变电站安全管控仍主要采用人工分析监控视频的方式,属于被动监控,不仅费时费力,而且容易产生误报错报的情况。该文提出了一种基于OpenPose多人姿态估计算法的人员危险行为检测模型,用于提高基于视频监控的变电站安全管控的智能化水平。通过对变电站安全区域的标定和人体关键姿态点的识别,以人员的双脚是否在标定的安全区域内为依据,自动判断人员行为是否是危险行为。其算法实时性较好,能达到每秒20帧的处理速度。     

基于骨骼关键点的异常行为识别及异构平台部署

目前对于异常行为检测算法较多,但是存在检测精度低、对环境要求高、部署困难等缺点。针对以上存在的问题,该文提出了一种基于骨骼关键点的异常行为检测方法。首先对视频图像预处理,然后通过Associative Embedding算法进行人体关键点的提取。为准确描述人体运动,提出用运动特征矩阵进行人体运动描述,引入SVM分类器利用运动特征矩阵进行行为识别。在HMDB51数据中选取的12类异常行为达到平均91.2%准确率,最后模型在CPU+FPGA异构平台进行加速,达到32 FPS的处理速度。     

基于肤色模型的人耳检测系统

人耳检测是人耳识别以及基于内容的图像和视频检索的一项重要任务。本文提出了一种将背景差分和肤色模型相结合的人耳检测算法。算法首先在序列图像中自动提取运动目标并进行人体检测,然后经过肤色分割进行人耳的粗定位,产生人耳候选区域。最后利用人耳检测模块判断候选区域中是否含有人耳,以及获得它们的位置、大小等信息。实验结果表明,该算法是有效的。     

亮度特征自相关和GMM相结合的目标检测

基于混合高斯模型(GMM)的背景建模算法被广泛运用于运动目标检测,但在一些发生快速光照变化的视频序列中,不能正确地检测出运动目标。此外在对GMM参数进行初始化时,若初始化图像中存在运动目标,则目标检测的结果会出现初始化图像中的运动目标,从而导致误检测。针对上述问题,提出一种基于亮度特征自相关的GMM算法,该算法根据亮度特征自相关参数判断初始化图像中是否存在运动目标,利用亮度特征自相关参数的拟合值判断当前帧是否发生快速光照变化,运用GMM和亮度差值相结合进行目标检测。对实际摄取的视频进行仿真实验,结果证明,该算法在GMM初始化图像存在运动目标的干扰条件下,能够较好地从发生快速光照变化的视频序列中提取出运动目标,满足准确性和实时性的要求。     

基于肤色模型的人耳检测系统

人耳检测是人耳识别以及基于内容的图像和视频检索的一项重要任务.本文提出了一种将背景差分和肤色模型相结合的人耳检测算法.算法首先在序列图像中自动提取运动目标并进行人体检测,然后经过肤色分割进行人耳的粗定位,产生人耳候选区域.最后利用人耳检测模块判断候选区域中是否含有人耳,以及获得它们的位置、大小等信息.实验结果表明,该算法是有效的.     

时空图卷积网络在人体异常行为识别中的应用

在监控场景下,由于监控资源短缺,行人异常行为容易发生漏检。针对该问题,提出了一种视频监控场景下的人体异常行为识别的方法,辅助监控人员及时发现异常。使用OpenPose对图像中行人进行人体骨架提取。针对图卷积网络对关节点特征聚合方式单一的问题,融合了基于图注意力网络（graph attention network,GAT）的图注意力机制。在改进后的图卷积网络的基础上,利用时空图卷积神经网络（spatial temporal graph convolutional networks,ST-GCN）,对行人关节点信息进行异常行为识别。实验结果表明,提出的识别算法对定义的行为识别准确率达85.48%,能够准确地识别监控视频中行人的异常行为。     

基于Codebook的视频火焰识别算法

为了提高视频火焰识别的准确度,提出了一种基于Codebook的火焰识别方法,创新地在YUV空间使用Codebook背景模型检测火焰区域,定期更新背景,综合火焰的动静态多特征进行火焰识别.首先,提取视频中的每一帧图像,利用原始图像中R、G、B三个分量间存在的线性关系作为颜色模型,初步提取火焰颜色区域; 然后,为了利用YUV颜色空间的有利特性,将颜色空间从RGB转化到YUV, 使用Codebook背景模型进行背景学习、背景差分,提取出具有火焰颜色的动态前景; 最后,利用火焰面积变化率、区域重叠率、质心位移这3个特征来训练反向传播(BP)神经网络,通过训练好的神经网络判断视频图像是否存在火焰.选取相机位置以及方向固定的视频进行实验,所提算法在复杂的视频场景中的识别准确度达到96%以上.实验结果表明,所提算法有效提高识别的准确度,同时降低多种干扰物场景的误判率.     

基于视频动态纹理的火灾检测

长期以来,森林火灾检测一直都是世界范围内的一个重要研究课题,对于保护地球环境及人类安全都有重要意义.基于视频监控的火灾检测对于实时性和正确性要求很高,而传感式探测器和传统图像型探测器不能满足要求.提出了一种基于动态纹理特征分析的新型图像型火灾检测算法,对于森林这样的复杂大空间场景尤为适用.通过对CCD摄像机拍摄的视频图像,建立线性动力系统(LDS)模型,分析其动态纹理特征,最后利用Adaboost分类器判断火灾是否存在.实验结果表明,此算法能够达到95％的检测准确率,且具有较好的应用前景.     

基于改进的稀疏重构算法的行人异常行为分析

针对视频监控中行人异常行为识别问题,首先对行人进行跟踪,然后对跟踪得到的轨迹进行分析,最后判断行人行为是否存在异常。在行人跟踪方面,在时空上下文跟踪算法的基础上结合卡尔曼滤波器,有效改进了复杂背景中的遮挡问题。在异常分析方面,将跟踪得到的目标轨迹按照轨迹形状进行分类,得到场景中的正常轨迹集;将这些轨迹集作为后续处理的训练样本集,通过改进的稀疏重构算法对轨迹进行分析,利用重构误差来判断异常。五段视频序列的测试结果表明,该方法与改进前的方法相比具有较高的识别率。     

改进Hu矩的ATM机异常行为识别研究

提出一种基于改进Hu矩和隐马尔可夫模型相结合的ATM机异常行为识别方法。对ATM机前用户存(取)款行为的视频序列用改进Hu变换提取运动目标的行为特征,采用Baum-Welch算法对用户的正常行为进行训练,并建立隐马尔可夫模型;最后通过模型输出测试样本序列的概率来识别异常行为。采用Matlab对ATM机用户运动行为的模拟视频进行实验仿真,结果表明:该方法对ATM机前的用户行为具有较高的识别率。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

Hierarchical abnormal event detection by real time and semi-real time multi-tasking video surveillance system

In this paper, we describe how to detect abnormal human activities taking place in an outdoor surveillance environment. Human tracks are provided in real time by the baseline video surveillance system. Given trajectory information, the event analysis module will attempt to determine whether or not a suspicious activity is currently being observed. However, due to real-time processing constrains, there might be false alarms generated by video image noise or non-human objects. It requires further intensive examination to filter out false event detections which can be processed in an off-line fashion. We propose a hierarchical abnormal event detection system that takes care of real time and semi-real time as multi-tasking. In low level task, a trajectory-based method processes trajectory data and detects abnormal events in real time. In high level task, an intensive video analysis algorithm checks whether the detected abnormal event is triggered by actual humans or not.     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于智能监控的中小人群异常行为检测

针对人群异常行为检测实时性较差、分类算法识别率不高、特征量较少的问题,提出一种基于智能监控的中小人群异常行为检测算法。首先,利用快速群体密度检测算法,提取人群数量变化信息;其次,利用改进的Lucas-Kanande光流法提取视频中人群的平均动能、人群方向熵、人群距离势能;最后,利用极限学习机(ELM)算法对人群行为进行分类。使用UMN公共数据集进行测试,ELM算法对中小人群异常行为分析比中高密度人群异常行为检测算法和基于KOD能量特征的群体异常行为检测算法识别率分别高出7.13个百分点和5.89个百分点,并且人数密度估计部分平均每帧图像处理耗时相比中高密度人群异常行为检测算法减少了106 ms(近1/3)。实验结果表明:基于智能监控的中小人群异常行为检测算法能有效提高异常帧识别率和实时性。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义.针对传统算法检测实时性和准确性差,易受环境影响的问题,提出一种基于骨架序列提取的异常行为识别算法.首先,改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪,得到目标的运动轨迹;然后,利用OpenPose模型提取轨迹中目标的骨架序列;最后通过时空图卷积网络结合聚类对目标进行异常行为识别.实验结果表明,在存在光照变化的复杂环境下,算法识别准确率达94%,处理速度达18.25 fps,能够实时、准确地识别多种目标的异常行为.     

基于特征包支持向量机的手势识别

针对类肤色信息或复杂背景的影响,难以通过手势分割得到精确手势轮廓而对后期手势识别率与实时交互的影响,提出了一种基于特征包支持向量机(BOF-SVM)的手势识别方法。采用SIFT算法提取手势图像局部不变性特征点,将手势局部特征向量(尺度不变特征变换(SIFT)描述子)进行K-means聚类生成视觉码书,并通过视觉码书量化每一幅手势图像的视觉码字集合,以此获得手势图像的固定维数的表征向量来训练支持向量机(SVM)多类分类器。该方法只需框定手势所在区域,无需精确地分割人手。实验表明,该方法对9种交互手势的平均识别率达到92.1%,并具有很好的鲁棒性及实时性,能适应环境的变化。     

基于改进时空兴趣点特征的双人交互行为识别

针对实际监控视频下双人交互行为的兴趣点特征选取不理想,且聚类词典中冗余单词导致识别率不高的问题,提出一种基于改进时空兴趣点（STIP）特征的交互行为识别方法。首先,引入基于信息熵的不可跟踪性检测方法,对序列图像进行跟踪得到交互动作的前景运动区域,仅在此区域内提取时空兴趣点以提高兴趣点检测的准确性。其次采用3维尺度不变特性转换（3D-SIFT）描述子对检测得到的兴趣点进行表述,利用改进的模糊C均值聚类方法得到视觉词典,以提升词典的分布特性;在此基础上建立词袋模型,即将训练集样本向词典进行投影得到每帧图像的直方图统计特征表示。最后,采用帧帧最近邻分类方法进行双人交互动作识别。在UT-interaction数据库上进行测试,该算法得到了91.7%的正确识别率。实验结果表明,通过不可跟踪性检测得到的时空兴趣点的改进词袋算法可以较大程度提高交互行为识别的准确率,并且适用于动态背景下的双人交互行为识别。     

Crowd behaviors analysis and abnormal detection based on surveillance data

Crowd analysis and abnormal trajectories detection are hot topics in computer vision and pattern recognition. As more and more video monitoring equipments are installed in public places for public security and management, researches become urgent to learn the crowd behavior patterns through the trajectories obtained by the intelligent video surveillance technology. In this paper, the FCM (Fuzzy c-means) algorithm is adopted to cluster the source points and sink points of trajectories that are deemed as critical points into several groups, and then the trajectory clusters can be acquired. The feature information statistical histogram for each trajectory cluster which contains the motion information will be built after refining them with Hausdorff distances. Eventually, the local motion coherence between test trajectories and refined trajectory clusters will be used to judge whether they are abnormal.