基于骨骼关键点的异常行为识别及异构平台部署

目前对于异常行为检测算法较多,但是存在检测精度低、对环境要求高、部署困难等缺点。针对以上存在的问题,该文提出了一种基于骨骼关键点的异常行为检测方法。首先对视频图像预处理,然后通过Associative Embedding算法进行人体关键点的提取。为准确描述人体运动,提出用运动特征矩阵进行人体运动描述,引入SVM分类器利用运动特征矩阵进行行为识别。在HMDB51数据中选取的12类异常行为达到平均91.2%准确率,最后模型在CPU+FPGA异构平台进行加速,达到32 FPS的处理速度。     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

低光照场景下基于序列增强的移动机器人人体检测与姿态识别

灾难救援、地下空间开发利用等场景均存在低光照、甚至完全黑暗的问题,导致机器人目标搜索与识别困难。为此,本文面向低光照场景提出基于红外深度相机图像序列的人体检测和姿态识别方法。首先,利用基于YOLO v4的AlphaPose算法检测人体框和关键点。然后,提出基于特征点匹配的漏检人体框恢复算法,降低人体漏检率,同时使用D-S（Dempster-Shafer）证据理论融合人体框和关键点的检测结果,从而降低人体误检率。最后,设计一种基于图像序列信息的人体姿态分层识别方法,在不同的识别层提取不同的人体躯干特征,利用连续多帧躯干向量特征组成的特征序列对人体姿态进行精准的识别并进行实验验证。实验结果表明本文算法能够在低光照条件下实现准确的人体检测与姿态识别,姿态识别准确率高达95.36%。     

基于图像处理技术的智能化人体行为识别模型研究

为了排除噪声数据影响、提高人体行为识别的准确率,从分析图像处理技术入手,对图像进行预处理之后利用混合高斯模型提取背景图像,采用改进的帧间差分算法检测目标,利用改进的k-均值算法提取图像特征,基于已获得的图像数据采用改进的HSMM模型实现人体行为识别。通过KTH人体行为数据库的实例数据验证所提出的构建模型的平均识别率高达97.5%,具有良好的检测效果,为人体行为识别提供了智能化检测手段。     

基于骨骼关键点的散打动作识别与评价方法

为提高散打运动辅助打分的公平公正性,提出一种基于骨骼关键点的散打动作识别与评价方法。首先采集十类散打动作构建实验数据集,获取视频关键帧,对图像进行去噪处理。其次通过基于YOLOv5s-CBAM目标检测的HRNet-DSC-CBAM人体姿态估计方法提取人体骨骼关键点坐标。最后利用ST-GCN动作识别方法进行动作识别,并利用DTW动态时间规整算法完成动作评价。实验结果表明,该方法在自制数据集的10类散打动作中表现出良好的识别效果,可以实现辅助打分功能。     

基于图卷积神经网络的学生课堂不规范行为实时检测方法

针对学生课堂环境中的行为检测因光照角度、遮挡等导致误检出率高、识别模型过于庞大、实时性差等缺点,提出了一种基于图卷积神经网络的学生课堂行为检测模型。首先,对教室中的学生进行人体定位,过滤背景因素,减小计算量。其次,使用骨架提取模型获得学生的骨骼关键点数据。最后,采用图卷积神经网络对课堂行为进行特征提取及分类,完成学生课堂不规范行为的实时检测。该模型在课堂作弊数据集上进行实验,结果表明识别处理速度能够达到20帧/秒,准确率为94.9%,能够准确实时有效地识别学生行为。     

改进KNN算法对人体身份的识别

为了理解特征学习过程、减少数据存储和提高识别率,提出使用Kinect v2的面部数据和骨骼数据作为数据集和一种改进KNN算法对人体身份的识别。使用Kinect v2提取出人体脸部特征点和骨骼关节点的三维位置信息,通过提取出的特征点的坐标计算出理解性强的特征信息如眼宽、臂长等。利用一种改进的截断均值聚类方法,通过排序把奇异值分布到数据集两端,截取数据集中间特征以抑制奇异值,利用基于匹配识别准确度的改进KNN算法对人体身份进行预测。实验结果表明提出的聚类方法匹配识别准确度更高,改进的分类方法也提高了识别的准确率。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

改进联合彩色和深度图像特征的人体行为识别

与传统光学相机相比,能同步获取RGB图像和深度图像数据,对人体行为识别提供了新的解决方案。因此,分别对RGB和深度图像序列提取改进的时空兴趣点特征,并基于一定规则实现时空兴趣点特征的融合。由于融合后特征的冗余性,基于时空聚类的方法,对特征进行优化处理,并采用SVM分类器进行训练和测试。实验结果表明提出的RGB和深度图像特征联合方法的行为识别平均准确率为91%,相对于其他方法取得了更好的识别结果。     

基于改进DenseNet网络的人体姿态估计

针对图像中由于人数不确定对处理速度的影响,以及不同人体或人体自身部位的相对大小不同等尺度因素影响导致通用的关键点检测方法的检测效果不佳等问题,提出一种改进的稠密卷积网络(DenseNet)结构用于人体姿态估计.该网络结构为单阶段的端对端的网络结构,利用深度卷积神经网络进行特征提取,在卷积网络末端通过特定的尺度转换结构得到6种不同尺度的特征图,使得网络能同时使用不同层次的特征进行多尺度关键点检测,可以有效提高检测精度.所提出方法采用自底向上的方式,使得网络进行多人姿态估计任务的处理速度得到保证.实验表明,所提出方法相比几种主流方法在多人关键点检测的平均精度上提升了1个百分点,为平衡姿态估计的速度与精度提供了一种新方法.     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

利用深度学习的施工人员安全隐患行为诊断控制方法

为了对建筑施工现场存在安全隐患的行为进行诊断控制,提出通过深度学习的方式对建筑施工现场工人的不安全行为进行识别;第一,要对人体骨骼运动模型进行提取,将提取得到的信息作为人体姿态以及运动发生变化的新模态信息,并针对以人体姿态为依据实现骨架信息提取这一过程进行简单介绍,再进一步提出CNN-LSTM模型,该模型能够对空间特征提取性能进行优化;过利用BN-Inception作为CNN-LSTM行为识别模型所需要的空间特征提取器,对所有视频帧中包含的空间结构信息进行提取过程的训练;再通过借助长短时记忆网络(LSTM)针对完整视频中的所有帧进行时序信息的建模,最终通过模型所得出的结果即为LSTM在最终时刻的预测输出;通过相关研究能够证明,利用CNN-LSTM模型获取的信息准确率能够达到88.67%,能够对单模态行为识别模型在识别过程中的准确率进行优化。     

基于手部关键点和肤色的手势识别

基于传统的手部轮廓特征提取不能应对飞行模拟环境下的脸部肤色、遮挡、光照影响,以及传统的傅里叶描述子特征容易受到背景、手的姿态变化,且对手势描述能力有限等问题,对传统的手部分割和特征提取方法改进.本文首先对采集的数据集进行肤色处理,然后结合调用的手部关键点模型检测出手部22个特征点,采用八向种子填充算法进行图像分割.接着...     

基于姿态校正与姿态融合的2D/3D骨架动作识别方法

针对现有的人体骨架动作识别方法对肢体信息挖掘不足以及时间特征提取不足的问题,提出了一种基于姿态校正模块与姿态融合模块的模型PTF-SGN,实现了对骨架图关键时空信息的充分利用。首先,对骨架图数据进行预处理,挖掘肢体和关节点的位移信息并提取特征;然后,姿态校正模块通过无监督学习的方式获取姿态调整因子,并对人体姿态进行自适应调整,增强了模型在不同环境下的鲁棒性;其次,提出一种基于时间注意力机制的姿态融合模块,学习骨架图中的短时刻特征与长时刻特征并融合长短时刻特征,加强了对时间特征的表征能力;最后,将骨架图的全局时空特征输入到分类网络中得到动作识别结果。在NTU60 RGB+D、NTU120 RGB+D两个3D骨架数据集和Penn-Action、HARPET两个2D骨架数据集上的实验结果表明,该模型能够有效地识别骨架时序数据的动作。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

基于矢状面和神经网络的三维人体骨架提取

不同姿态的人体模型易对骨架提取算法产生干扰。为此,提出一种新的骨架提取算法。该算法通过将人体模型矢状面深度信息和改进Hopfield神经网络相结合的方式,引入一种网络输入输出函数,对传统的人体骨架提取算法进行改进,使网络收敛速度明显加快。通过特征点的深度信息决定点对差异的方式,使网络成功地避免局部极小点,同时减少网络的运行时间。实验结果表明,该算法在定位骨架特征点处的误差明显小于传统算法,且缩短了算法的运行时间。该算法对人体骨架提取的效果更好。     

基于线段融合的空间非合作目标稳健特征提取算法

相对位姿测量是空间非合作目标态势感知的主要内容,在位姿测量中,需要先对目标图像进行特征提取,而特征提取的精度和鲁棒性直接影响位姿测量性能。为了提高空间非合作目标特征提取的鲁棒性,本文给出一种基于线段融合的特征提取算法。该算法首先采用基于梯度的滤波器来消除空间目标图像的背景干扰,然后采用LSD直线检测算法、Hough Lines直线检测算法和Shi-Tomasi角点检测算法提取三组特征点,再用K-D空间划分树以及K最近邻搜索算法融合这三组特征点,保留包含显著特征的较少数量特征点,进一步组合成线段结构,并对线段进行融合,以此来提取反映目标整体几何框架的信息,从而提升稳健性。仿真实验和半物理仿真实验测试结果表明,本文提出的基于线段融合的特征提取方法在空间目标特征提取中具有更好的稳健性。     

基于RetinaNet-CPN网络的视频人体关键点检测

为解决基于视频流的人体关键点检测效果不佳及视频流切片后可能会发生运动模糊的问题,提出了一种改进的RetinaNet-CPN网络对人体关键点进行检测,有效解决切片后运动模糊图像的干扰并提高了人体关键点的检测准确率.视频流切片后,先用改进的RetinaNet网络检测出图片中的所有人并对每个目标框做模糊检测,对大于阈值的目标框做去模糊处理,最后用引入注意力机制的CPN网络提取关键点.将RetinaNet衡量预测框与真实框差异的IOU函数改成DIOU后,在仿真实验中目标检测AP提高了近3％;对于模糊的图片,利用匀速直线运动频谱特征估算出的模糊核与实际模糊核相差不大,对其做去模糊处理后基本能恢复出原清晰图片;同时引入注意力机制为各通道和特征层分配合理的权重,使得CPN检测AP提高近1％,AR提升0.5％.     

基于局部特征过滤的快速火焰图像识别方法

传统的基于物理信号的火焰识别方法易被外部环境干扰,且现有火焰图像特征提取方法对于火焰和场景的区分度较低,从而导致火焰种类或场景改变时识别精度降低。针对这一问题,提出一种基于局部特征过滤和极限学习机的快速火焰识别方法,将颜色空间信息引入尺度不变特征变换（SIFT）算法。首先,将视频文件转化成帧图像,利用SIFT算法对所有图像提取特征描述符;其次,通过火焰在颜色空间上的信息特性进一步过滤局部噪声特征点,并借助关键点词袋（BOK）方法,将特征描述符转换成对应的特征向量;最后放入极限学习机进行训练,从而快速得到火焰识别模型。在火焰公开数据集及真实火灾场景图像进行的实验结果表明：所提方法对不同场景和火焰类型均具有较高的识别率和较快的检测速度,实验识别精度达97%以上;对于包含4301张图片数据的测试集,模型识别时间仅需2.19 s;与基于信息熵、纹理特征、火焰蔓延率的支持向量机模型,基于SIFT、火焰颜色空间特性的支持向量机模型,基于SIFT的极限学习机模型三种方法相比,所提方法在测试集精度、模型构建时间上均占有优势。