基于图像处理的公交车内人群异常情况检测

为有效地监控公交车这一特定环境中人群的异常行为,提出一种公交车内人群异常情况检测的方法。对视频图像确立感兴趣区域,进行预处理;通过改进Vi Be算法提取运动目标,引入多尺度滑窗算法确定识别区域;结合连续多帧识别区域进行改进卷积神经网络算法的异常行为识别,通过识别结果判断公交车内人群是否异常。与传统方法的比较结果表明,该算法的检测正确率较高,可达93.5%,误检率较低,仅为1.6%,在实际应用中具有较高的参考价值。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义.针对传统算法检测实时性和准确性差,易受环境影响的问题,提出一种基于骨架序列提取的异常行为识别算法.首先,改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪,得到目标的运动轨迹;然后,利用OpenPose模型提取轨迹中目标的骨架序列;最后通过时空图卷积网络结合聚类对目标进行异常行为识别.实验结果表明,在存在光照变化的复杂环境下,算法识别准确率达94%,处理速度达18.25 fps,能够实时、准确地识别多种目标的异常行为.     

基于深度学习与稀疏光流的人群异常行为识别

目前公共场所人群异常行为检测的异常种类检测准确率较低,且多数对突然奔跑等部分异常行为无法识别.为此,提出一种基于YOLO_v3与稀疏光流的人群异常行为识别算法,通过检测小团体异常为群体异常预警与采取相应的应急措施提供充足的时间.为方便定位异常发生区域,将视频分割为多个子区域,通过获取子区域的图像样本进行诱发群体异常的小团体异常检测,利用改进YOLO_v3神经网络对传统算法较难检测行人持棍、持枪、持刀与面部遮挡等异常进行检测,在未检测到上述异常诱因时,使用稀疏光流法获取人群平均动能与运动方向熵,将得到的特征数据通过PSO-ELM进行分类,区分正常行为与同向突散或无规则突散.实验结果表明,与现有同类算法相比,该算法能有效检测行人持械与面部遮挡等小团体异常,并且定位异常发生区域的准确率达到98.227%.     

轨道交通车站乘客集散系统Anylogic仿真优化

为了研究地铁轨道交通车站站台乘客行为的特殊性对地铁轨道交通车站设施设备布局的影响,本文运用基于社会力模型算法的Anylogic动态仿真软件构建了面向复杂交织乘客行人流的地铁轨道交通站台场景模型。以某市地铁轨道交通车站为例对该模型进行了校核与验证,针对地铁车站内的设施设备布局的缺陷提出了优化改进措施。实证研究表明:优化后的地铁轨道交通站台场景模型,能够科学合理地阐述客流组织与地铁轨道交通之间的动态关系,同时对其他地铁轨道交通车站的规划设计与运营具有重要的借鉴与指导意义。     

基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

基于手部轨迹识别的ATM智能视频监控系统

为实时阻止针对自动取款机的犯罪行为发生,设计一种基于手部轨迹识别的ATM智能视频监控系统。对于采集所得的监控区域内的视频图像,利用混合高斯背景建模方法为视频图像建立背景模型,通过背景剪除法和跟踪算法得到监控区域内的人体信息,分析进入监控区域的人体面积变化情况,由此判断是否有异常行为发生,存在异常则报警,否则采用基于颜色空间的皮肤检测算法和位置约束检测人手部分,利用隐马尔可夫模型对分段的手部运动轨迹分别进行匹配识别,进一步判断是否存在犯罪行为。实验结果表明,该方法对于犯罪行为的识别率能达到88%。     

基于运动矢量交点密集度的人群恐慌行为检测

为了更准确有效的识别人群恐慌行为,本文提出了一种利用视频中人群运动矢量的交点密集度来判断人群恐慌异常的新算法.该算法以LK光流法为基础来提取运动人群的运动矢量信息,接着通过获得的信息求取运动矢量间的两两交叉点,然后运用分块法求得区域交叉点密集度,并以此来识别人群异常.对多个视频进行测试,测试结果表明:该算法能够以较高正确率识别视频中人群的恐慌行为.     

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

视频文字信息检查工具的设计与实现

针对某些特定视频中,画面文字信息经常包含较为敏感文字信息,导致信息泄露,设计实现了一种视频画面中的文字的检测识别系统,对视频画面中的文字标语、文字条幅,新闻画面中的文字导语等信息进行识别与比对;采用基于双阈值的视频镜头分割算法,根据颜色直方图信息提取关键帧,采用最大稳定极值区域算法提取图像中稳定区域,通过聚类和级联分类器实现文字区域提取,最后将文字区域分割后进行OCR识别,实验表明系统针对复杂背景中的文字能够达到较高的检测识别率.     

Activity recognition in beach volleyball using a Deep Convolutional Neural Network

Many injuries in sports are caused by overuse. These injuries are a major cause for reduced performance of professional and non-professional beach volleyball players. Monitoring of player actions could help identifying and understanding risk factors and prevent such injuries. Currently, time-consuming video examination is the only option for detailed player monitoring in beach volleyball. The lack of a reliable automatic monitoring system impedes investigations about the risk factors of overuse injuries. In this work, we present an unobtrusive automatic monitoring system for beach volleyball based on wearable sensors. We investigate the possibilities of Deep Learning in this context by designing a Deep Convolutional Neural Network for sensor-based activity classification. The performance of this new approach is compared to five common classification algorithms. With our Deep Convolutional Neural Network, we achieve a classification accuracy of 83.2%, thereby outperforming the other classification algorithms by 16.0%. Our results show that detailed player monitoring in beach volleyball using wearable sensors is feasible. The substantial performance margin between established methods and our Deep Neural Network indicates that Deep Learning has the potential to extend the boundaries of sensor-based activity recognition.     

CNN与决策树结合的新型人体行为识别方法研究

基于智能手机内置加速度传感器的人体行为识别是近年来人工智能领域一个研究热点,传统的贝叶斯、极速学习机、决策树等识别方法都必须先针对加速度传感器采集数据提取时频域特征,并从大量的时频特征中进行特征优选。本文采用深度学习中卷积神经网络算法（Convolutional Neural Network）在大数据量与小数据量两种情况下分别进行特征学习,直接读取智能手机内置三轴加速度数据,自动提取加速度信号的特征,利用自动提取出来的加速度数据特征,结合决策树算法实现人体行为的分类识别。实验表明,该识别方法准确率较传统机器学习方法提高了1.1%～5.2%,尤其在大数据量下准确率提高更为明显。     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升,针对这个问题,提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型,命名为聚类关联网络（CRN）。首先,利用卷积神经网络（CNN）提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用AP的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息,并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明,CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于骨骼时序散度特征的人体行为识别算法

人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术。图卷积神经网络（GCN）在基于骨骼的人体行为识别上取得了卓越的性能。不过GCN在人体行为识别研究中存在以下问题：1）人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2）在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显。针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差。并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差。最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型。所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9%和83.7%的准确率,相比自适应图卷积网络（AGCN）提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性。     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升，针对这个问题，提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型，命名为聚类关联网络（CRN）。首先，利用卷积神经网络（CNN）提取场景特征，再利用区域特征聚集提取场景中的人物特征。然后，利用AP的层次关联网络模块提取群组关联信息。最后，利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息，并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明，CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于深度学习的海底观测视频中鱼类的识别方法

针对海底环境恶劣、海底观测视频品质差导致视频中的海洋鱼类识别难的问题，提出一种基于深度学习的海洋鱼类识别方法。首先，将海底观测视频分解为图片，由于海底观测视频中存在较大比例的空白数据，使用背景差分法过滤不包含鱼类的图片，缩短处理全部数据的时间；然后，考虑到海底拍摄环境亮度低、场景模糊的实际情况，对图片基于暗通道先验算法进行预处理提高品质；最后，以卷积神经网络（CNN）为基础构建深度学习模型，并且提出了权重化特征的卷积过程，提高模型的鲁棒性。实验结果表明:面对较差品质的海底观测视频图片，在深度学习模型结构相同的条件下，与普通卷积神经网络模型相比，使用权重化卷积作为隐层并且加入预处理过程后，对海洋鱼类识别准确率的提升幅度达到23%，有助于实现对海底观测视频图片中海洋鱼类的精准识别。     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

Lip reading with Hahn Convolutional Neural Networks

Lipreading or Visual speech recognition is the process of decoding speech from speaker's mouth movements. It is used for people with hearing impairment, to understand patients attained with laryngeal cancer, people with vocal cord paralysis and in noisy environment. In this paper we aim to develop a visual-only speech recognition system based only on video. Our main targeted application is in the medical field for the assistance to laryngectomized persons. To that end, we propose Hahn Convolutional Neural Network (HCNN), a novel architecture based on Hahn moments as first layer in the Convolutional Neural Network (CNN) architecture. We show that HCNN helps in reducing the dimensionality of video images, in gaining training time. HCNN model is trained to classify letters, digits or words given as video images. We evaluated the proposed method on three datasets, AVLetters, OuluVS2 and BBC LRW, and we show that it achieves significant results in comparison with other works in the literature.     

基于三维卷积神经网络的航运监控事件识别

针对传统的机器学习算法对大数据量的航运监控视频识别分类的效果不佳,以及现有的三维（3D）卷积的识别准确率较低的问题,基于3D卷积神经网络模型,结合较为流行的视觉几何组（VGG）网络结构以及GoogleNet的Inception网络结构,提出了一种基于VGG-16的3D卷积网络并引入Inception模块的VIC3D模型对航运货物实时监控视频进行智能识别。首先,将从摄像头获取到的视频数据处理成图片;然后,将等间隔取帧的视频帧序列按照类别进行分类并构建训练集与测试集;最后,在保证运行环境相同并且训练方式相同的前提下,将结合后的VIC3D模型与原模型分别进行训练,根据测试集的测试结果对各种模型进行比较。实验结果表明,VIC3D模型的识别准确率在原模型的基础上有所提升,相较于组约束循环卷积神经网络（GCRNN）模型的识别准确率提高了11.1个百分点,且每次识别所需时间减少了1.349 s;相较于C3D的两种模型的识别准确率分别提高了14.6个百分点和4.2个百分点。VIC3D模型能有效地应用到航运视频监控项目中。     

基于多任务CNN的监控视频中异常行人快速检测

在近年来社会公共安全受到广泛关注的情况下,如何利用监控视频对异常行人进行监督,预防危险事件的发生成为了一个热门课题.异常行人是指与普通行人在外观上有明显异常性区别的人,例如用头盔大面积遮挡面部或低头躲避摄像头,考虑到异常行人的特征主要集中在头面部,本文提出一种基于多任务卷积神经网络和单类支持向量机的针对头面部特征的异常行人快速检测方法.首先进行头面部区域的检测,然后使用多任务卷积神经网络提取头面部区域的特征,之后使用单类支持向量机判断是正常行人还是异常行人.此外,本文还针对卷积神经网络设计了一种卷积核拆分方法,加快了特征提取的速度,最终实验表明,本文提出的算法能够快速有效的检测出监控视频中的异常行人.