融合骨骼数据的弱监督视频行为检测方法研究

在视频理解任务中,为了减少行为检测任务中的数据标注成本同时提高检测精度,本文提出一种基于骨骼数据的弱监督视频行为检测方法,使用视频级的类别标注对行为检测网络进行弱监督训练.本文以二维人体骨骼数据和RGB图像数据作为网络输入,利用循环神经网络从骨骼数据中提取时域信息并送入全连接层输出所需的特征.骨骼数据提取的特征与RGB数据提取的特征分别传入注意力网络生成相应的权重,用来生成加权特征与加权时序类别激活图值.最后根据加权特征与加权时序类别激活图值进行行为的分类与时域定位.实验结果表明,所提出的结合人体骨骼数据的算法比有监督算法少使用了数据的时间标注.算法在THUMOS14数据集和ActivityNet1.3数据集上能够提高检测准确率.     

基于加权样本选择与主动学习的视频异常行为检测算法*

随着日益突出的公共安全问题,视频监控异常行为检测成为计算机视觉的一个研究热点.文中结合视频异常检测数据集,提出基于加权样本选择与主动学习的视频异常行为检测算法.根据视频监控数据集的分布特性,选择合适的权重值消除不平衡数据集对分类器的影响,通过主动学习的方式选取少量异常不确定样本,不断迭代更新检测模型,适应复杂多变的异常事件.实验表明,在UCSD异常行为检测数据集上,相比传统方法,文中方法具有更好的检测性能     

基于YoloV3的实时视频行人检测算法

本文提出一种基于YoloV3的视频检测算法,使用Mobile-Net的思想优化模型,并采用基于三帧差分法和粒子滤波的视频运动自适应推理算法,充分利用视频前后帧之间的目标关联性,将其部署在VisionSeed上。实验结果表明,在COCO数据集上实现了0.331 s的单帧检测速率,速度提升了31.9%,满足了嵌入式平台的运行要求。     

基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

一种端到端的考场多目标行为识别算法

人工监考存在监考人员容易疲惫、监考行为缺乏客观的执行准则、违规行为证据无法留存等问题,因此越来越多的高校建设了智能化教室,并在教室开始实施利用行为识别进行自动化的监考任务,以期在监考工作中解放人工劳动的同时提供公平公正客观的监考程序。在实际考场监控的边缘设备中利用TSN双流、3DCNN等结合时空特征的网络很难实现实时的、相对准确的监控任务。提出一种端到端的考场多目标行为识别算法。相对于以提取空间、时序特征并进行融合为主流思想的行为识别算法,利用视频帧以多目标检测和多目标行为识别相结合的行为识别算法在考场环境中更加快速准确。算法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的考场行为视频数据集进行再训练,得到最终的考场行为识别模型,结果表明达到了主流数据集中上水平,并在考场环境中具有良好的高效性与准确性。     

基于改进YOLOv3的高速公路隧道内停车检测方法

为了更准确地检测高速公路隧道内停车行为,提出一种基于改进YOLOv3车辆检测模型的高速公路隧道内停车检测方法。通过筛选VOC数据集以及实际高速公路隧道内的车辆图片制作专门用于高速公路隧道内车辆检测的数据集,选取YOLOv3目标检测模型作为车辆检测的基础网络结构,并对其进行加深网络结构的改进使其能够准确检测隧道内的车辆。将Deep SORT跟踪算法应用于改进的停车检测模型中,对车辆进行跟踪从而计算行驶速度,并创新性地设置双重速度阈值来判别车辆的停车行为。实验结果表明,经过改进的YOLOv3模型相比于原模型,在VOC-vehicle数据集和Tunnel-vehicle数据集上的mAP都有所提升,最终获得了mAP为98.19%的高速公路隧道车辆检测模型。将基于改进YOLOv3的高速公路隧道内停车检测方法在高速公路隧道视频上进行测试,可以有效地在高速公路隧道中完成停车检测的任务。     

基于交替方向低秩模型的运动目标检测算法

不同于传统运动目标检测算法,引入背景低秩和前景稀疏性,提出基于交替方向低秩模型的运动目标检测算法。首先在鲁棒主成分分析法建模的基础上添加背景噪声模型,在低秩背景模型中引入全变差范数并结合核范数进行约束。考虑视频矩阵前景图像的稀疏性,接着利用马尔可夫随机场和图建立前景模型。然后采用交替方向法实现函数的优化求解。最后对算法结构进行改进,实现视频运动目标的在线检测。通过对两种数据集进行实验结果分析,与其他算法对比,该算法在满足在线的基础上具有很好的检测效果,特别是在动态背景及复杂前景上具有很强的鲁棒性。     

基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别

针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法.首先,结合实时目标检测和跟踪,得到每个学生的实时图片流;接着,利用深度时空残...     

基于Cascade R-CNN的输电线路关键部件识别

针对无人机在输电线路关键部件巡检图像中目标多，且尺度相差较大，导致识别率低的问题，提出使用深度学习目标检测算法Cascade R-CNN进行识别。由于输电线路关键部件无公开数据集，采集输电线路关键部件图片，并将图片数据的分辨率进行统一，使用LabelImg软件进行标注，制作一个符合训练要求的数据集。基于Paddle框架进行模型搭建，使用PaddleDetection训练工具进行全流程训练调优，进行测试。实验结果表明，基于Cascade R-CNN算法的模型在进行目标尺寸相差较大的多目标检测时，在测试集上的精度(mAP)可以达到91.39%,检测效果较好。     

融合运动特征的高效视频火焰检测算法

提出一种轻量高效的视频火焰检测算法。该算法以基于深度学习的卷积神经网络目标检测算法为主体,提取监控视频中的图像帧,识别并定位火焰区域。加入运动目标检测模块作为后处理机制,依据连续视频帧中火焰的运动特性,采用基于混合高斯模型的运动目标检测算法对火焰目标检测结果进行合理化判断,减少类似火焰的静止物体或光线造成的误报,效率高且资源消耗少。此外,收集并标注了一套火焰检测数据集（Fire detection dataset,FDD）,包含多种场景下多类型燃烧物产生的火焰图片2 487张以及15段不同场景下的火灾视频数据。在FDD的视频检测实验中本文算法准确率达到了98.94%,证明了本文算法的有效性。     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法.在人体检测阶段,提出Multi-task RCNN(MTRC-NN)网络,使用人体...     

基于深度学习的实时吸烟检测算法

在公共场所内吸烟,不仅对自身、他人身体健康造成潜在的危害,还存在造成火灾等现象的隐患.因此,出于健康和安全方面的考虑,为机场、加油站、化工仓库等严禁吸烟的场所,设计了一种基于深度学习的能快速发现和警告吸烟行为的检测模型.该模型使用卷积神经网络对摄像头所拍摄的视频流输入帧进行处理,经过图像特征提取、特征融合、目标分类以及...     

基于长短时记忆网络的人体姿态检测方法

针对在循环神经网络（RNN）网络结构下较为遥远的历史信号无法传递至当前时刻的问题,长短时记忆（LSTM）网络作为RNN的一种变体被提出,在继承RNN对时间序列优秀的记忆能力的前提下,LSTM克服了这种时间序列的长期依赖问题,并在自然语言处理与语音识别领域有较好的表现。对于人体行为动作中也存在作为时间序列的长期依赖问题与使用传统滑窗算法采集数据时造成的无法实时检测的问题,将LSTM扩展应用到人体姿态检测,提出了基于LSTM的人体姿态检测方法。通过目前智能手机中一般都带有的加速度传感器、陀螺仪、气压计和方向传感器实时采集的时序数据,制作了包含3336条带有人工标注数据的人体姿态数据集,对行走、奔跑、上楼梯、下楼梯和平静五种日常持续性行为姿态与跌倒、起立、坐下和跳跃这四个突发行为姿态进行预测分类。对比LSTM网络与该研究领域内常用的浅层学习算法、深度学习全连接神经网络与卷积神经网络,实验结果表明,所提方法使用端对端的深度学习的方法相比基于所制作数据集的人体姿态检测算法模型的正确率提高了4.49个百分点,验证了该网络结构的泛化能力且更适合姿态检测。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

基于逆向习得推理的网络异常行为检测模型

针对网络异常行为检测中因数据不平衡而导致召回率低的问题，提出一种基于逆向习得推理（ALI）的网络异常行为检测模型。首先，去除数据集中用离散数据表示的特征项，并对处理后的数据集进行归一化以提高模型的收敛速度与精度；然后，提出改进的ALI模型，通过ALI训练算法用仅由正样本所构成的数据对其进行训练，并利用已训练完成的改进ALI模型处理检测数据以生成处理后的检测数据集；最后，依据异常检测函数计算检测数据与处理后的检测数据之间的距离来判断数据是否异常。与单类支持向量机（OC-SVM）、深层结构能量模型（DSEBM）、深度自编码高斯混合模型（DAGMM）和生成对抗网络异常检测模型（AnoGAN）的对比实验结果表明，所提模型的准确率提升了5.8~17.4个百分点，召回率提升了1.4~31.4个百分点，F₁值提升了14.18~19.7个百分点。可知所提出的基于逆向习得推理的网络异常行为检测模型在数据不平衡时仍具有较高的召回率和检测精度。     

联合姿态先验的人体精确解析双分支网络模型

人体解析旨在将人体图像分割成多个具有细粒度语义的部件区域,进行形成对人体图像的语义理解.然而由于人体姿态的复杂性,现有的人体解析算法容易对人体四肢部件形成误判,且对于小目标区域的分割不够精确.针对上述问题,本文联合人体姿态估计信息,提出了一种人体精确解析的双分支网络模型.该模型首先使用基干网络表征人体图像,将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,并将提取的特征分别输入至全卷积网络解析分支与检测解析分支.全卷积网络解析分支获得全局分割结果,检测解析分支更关注小尺度目标的检测与分割,融合两个分支的预测信息可获得更为精确的分割结果.实验结果验证了本文算法的有效性,在当前主流的人体解析数据集LIP和ATR上,本文方法的mIoU评测指标分别为52.19%和68.29%,有效提升了解析精度,在人体四肢部件以及小目标部件区域获得了更为准确的分割结果.     

基于轻量级SSD的电力设备锈蚀目标检测

电力设备的锈蚀检测作为电力系统故障检测中非常重要的组成部分,需要被快速准确的识别出来.本文结合注意力模型提出一种基于轻量级SSD的电力设备锈蚀目标检测算法,可以有效地对电力设备的锈蚀区域进行检测.本文算法模型利用深度可分离卷积代替标准卷积来大幅度压缩模型,并在此基础上提出了一种基于注意力模型的上采样特征融合策略用于弥补缩减模型结构带来的精度损失.该算法在RustDetection数据集上相比较标准SSD可以做到在参数量减少63.6%,速度提升46.7%的情况下提升10.47%的准确度和5.99%的平均精度.     

基于人体骨骼关键点的吸烟行为检测算法

针对公共场所的监控视频中烟头目标较小并且吸烟产生的烟雾易发散,仅依靠目标检测算法检测烟头或者烟雾来判定吸烟行为存在较大难度的问题,考虑到利用骨骼关键点来进行姿态估计的算法越来越成熟,提出一种利用人体骨骼关键点和吸烟行为之间的关系来进行吸烟行为检测的算法。该算法首先利用AlphaPose和RetinaFace分别检测出人体骨骼关键点和脸部关键点信息,根据手腕到两嘴角中点和手腕到同侧眼睛的距离之比,提出一种计算人体的吸烟动作比例（SAR）是否属于吸烟动作黄金比例（GRSA）的方法以区分吸烟与非吸烟行为;再利用YOLOv4检测视频中是否存在烟头;最后结合GRSA判定和YOLOv4的结果来确定视频中存在吸烟行为的可能性高低,作出是否有吸烟行为的判定。经过笔者录制的数据集测试,结果表明所提算法可以准确检测到吸烟行为,准确率达到92%。