基于姿态估计与GRU网络的人体康复动作识别

康复锻炼是脑卒中患者的重要治疗方式,为提高康复动作识别的准确率与实时性,更好地辅助患者在居家环境中进行长期康复训练,结合姿态估计与门控循环单元(GRU)网络提出一种人体康复动作识别算法Pose-AMGRU。采用OpenPose姿态估计方法从视频帧中提取骨架关节点,经过姿态数据预处理后得到表达肢体运动的关键动作特征,并利用注意力机制构建融合三层时序特征的GRU网络实现人体康复动作分类。实验结果表明,该算法在KTH和康复动作数据集中的识别准确率分别为98.14%和100%,且在GTX1060显卡上的运行速度达到14.23frame/s,具有较高的识别准确率与实时性。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于DA-GCN的煤矿人员行为识别方法

针对煤矿生产区域的监控视频较为模糊且人员行为类型复杂,常规行为识别方法的准确率较低的问题,提出了一种基于动态注意力与多层感知图卷积网络(DA-GCN)的煤矿人员行为识别方法。采用Openpose算法提取输入视频的人体关键点,得到3个维度、18个坐标的人体关键点信息,降低模糊背景信息的干扰;通过动态多层感知图卷积网络(D-GCN)提取人体关键点的空间特征,通过时间卷积网络(TCN)提取人体关键点的时间特征,提高网络对不同动作的泛化能力;使用动态注意力机制,增强网络对于动作关键帧、关键骨架的注意力程度,进一步缓解视频质量不佳带来的影响;使用Softmax分类器进行动作分类。通过场景分析,将井下行为分为站立、行走、坐、跨越和操作设备5种类型,构建适用于煤矿场景的Cumt-Action数据集。实验结果表明,DA-GCN在Cumt-Action数据集的最高准确率达到99.3%,最高召回率达到98.6%;与其他算法相比,DA-GCN在Cumt-Action数据集和公共数据集NTU-RGBD上均具有较高的识别准确率,证明了DA-GCN优秀的行为识别能力。     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

井下人员违规进入无源监测方法

针对现有井下人员违规进入监测方法存在实用性差、稳定性差、准确度低等问题,提出了一种基于WiFi网络信道状态信息的井下人员违规进入无源监测方法。该方法分为训练阶段和测试阶段:在训练阶段,分别采集有人进入、无人进入场景下信道状态信息数据,并对采集的数据进行离群点剔除和滤波等数据预处理,再将预处理后的数据构造成特征值,通过构造特征值建立判别模型;在测试阶段,将采集的数据预处理后构成特征值,再将特征值输入到训练阶段建立的判别模型中,实现人员是否违规进入判识。实验结果表明,该方法准确率达99.31%。     

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

基于改进双流法的井下配电室巡检行为识别

井下配电室监控视频持续时间较长且行为类型复杂,传统双流卷积神经网络(CNN)法对此类行为识别效果较差.针对该问题,对双流CNN法进行改进,提出了一种基于改进双流法的井下配电室巡检行为识别方法.通过场景分析,将巡检行为分为站立检测、下蹲检测、走动、站立记录、坐下记录5种类型,并制作了巡检行为数据集IBDS5.将每个巡检行为视频等分为3个部分,分别对应巡检开始、巡检中和巡检结束;对3个部分视频分别随机采样,获取代表空间特征的RGB图像和代表运动特征的连续光流图像,并分别输入空间流网络和时间流网络进行特征提取;对2个网络的预测特征进行加权融合,获取巡检行为识别结果.实验结果表明,以Res Net152网络结构为基础,且权重比例为1∶2的空间流和时间流双流融合网络具有较高的识别准确度,Top-1准确度达到98.92%;本文方法在IBDS5数据集和公共数据集UCF101上的识别准确率均优于3D-CNN、传统双流CNN等现有方法.     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于复杂CNN的人脸微表情识别算法

传统人脸微表情识别算法忽略了数据集的预处理，导致表情误识率偏高，且识别耗时较长。为有效解决上述问题，提出基于复杂CNN的人脸微表情识别算法。预处理人脸微表情数据集，以降低网络样本训练过程中过拟合风险。通过复杂卷积神经网络(CNN)分别提取微表情视频序列在64fps和128fps两个时间尺度特征。采用支持向量机(SVM)完成决策级融合分类，以有效实现人脸微表情识别。实验结果表明，实验过程中所提方法的表情误识率低于0.1%,识别耗时不高于5ms,相比之下所提方法具有更好的应用效果。     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

基于信道状态信息的人体复杂动作识别方法

现有人类行为识别方法识别精度低、成本高,所能识别的动作也相对简单。为此,通过引入信道状态信息(CSI)提出一种人体复杂动作识别方法,并以传统武术形意拳招式动作为背景进行验证。利用Wi-Fi网卡采集形意拳招式的CSI数据,以数据中的振幅为特征值,使用巴特沃斯低通滤波器和离散小波变换分别过滤数据中的高频和低频异常值。离线阶段采用受限波尔兹曼机对预处理数据进行训练和分类,并构建形意拳招式指纹库。在线阶段使用深度置信网络对采集数据进行分类,将分类结果与指纹库数据进行匹配,实现对形意拳招式的准确识别。实验结果表明,与CSI-SRC方法和基于传统RSSI模型的方法相比,该方法具有较高的识别精度,并且鲁棒性较好。     

轴承智能故障诊断

轴承振动信号作为一种时间序列数据,其时间维度特征在分类中起着关键作用,单独使用卷积神经网络（CNN）进行轴承故障诊断会造成时间维度信息的丢失,导致诊断精度下降。针对上述问题,提出了一种结合一维CNN、双向门控循环单元（Bi GRU）和注意力机制的轴承故障诊断模型。首先利用CNN自适应提取一维振动信号局部空间特征;然后将该特征信息作为Bi GRU的输入,利用Bi GRU将提取的特征信息进行时间维度的融合,并引入注意力机制对多个时刻的特征信息进行加权,提取出更关键的故障特征;最后将故障特征输入全连接层得到分类结果,实现轴承智能故障诊断。实验结果表明：(1)在测试集混淆矩阵上,轴承运行状态基本分类正确,只有部分标记类型没有被完全分类正确,但是召回率达到了95%以上,总的故障识别准确率为99.3%。(2)利用t-SNE技术对降维处理后的数据进行可视化,轴承各运行状态的数据很好地聚集在各自的空间内,只有少量数据被混杂到其他区域,说明该模型具有较强的特征提取能力。(3)在恒定负载情况下,该模型故障诊断准确率较一维CNN、Bi GRU和注意力CNN等模型的平均准确率分别提高了0.8%、0.6%和0....     

基于9轴姿态传感器的CNN旗语动作识别方法

区别于传统光纤传感器、图像识别和Kinect深度图像的旗语动作识别方法,提出了一种基于9轴姿态传感器的旗语动作识别方法.该方法通过佩戴在手腕处的9轴姿态传感器来采集旗语动作的3轴加速度、3轴角速度以及3轴磁偏角数据;在运用卷积神经网络(Convolutional Neural Network,CNN)分类模型的基础上对其中的数据进行预处理,并通过分类识别算法对其进行改进;在数据预处理阶段,利用小波分解与重构函数对采集到的9轴数据进行高频去噪和低频信息提取,通过时间序列加窗进行分割处理,对各动作样本进行维度和长度统一;在特征提取阶段,采用构建的双卷积层、单池化层、单全连接层网络模型对重构数据进行特征提取;在分类识别阶段,提出一种CrossEntropy-Logistic联合损失函数来对5种动作进行迭代训练.实验结果表明,所提方法利用detcoef小波分解与重构函数对信号进行低频细节系数提取并采用一维CNN对降噪后的数据进行特征提取,通过CL联合损失函数对预测损失值和预测概率进行融合,分析所得到的训练准确率与测试准确率,在与各类方法的对比中取得了最高值,其平均训练识别率可达99％以上,测试准确率可达94％.     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

基于FMCW雷达和ResNeSt-GRU的行为识别方法

针对FMCW雷达在行为识别方面的应用,提出一种基于分离注意力残差神经网络（ResNeSt）和门控神经单元（GRU）的人体行为识别系统。使用调频连续波（FMCW）雷达采集人体行为数据,之后采用快速傅里叶变换算法（FFT）提取雷达数据每一帧距离、速度和角度维信息,按照时间维度拼接成距离时间图（RTM）、多普勒时间图（DTM）和角度时间图（ATM）,最后以RTM、DTM和ATM作为输入样本,采用三流ResNeSt-GRU模型对不同人体行为进行识别。实验结果表明,三流ResNeSt-GRU模型对8种行为的平均识别准确率达到了98.92%,均高于传统和融合式深度学习模型。此外,采用该模型比传统特征融合之后采用单流网络的识别准确率提高了2.3%。因而该系统可以有效提高人体行为识别系统的识别准确率,为人体行为识别提供新的技术方法。     

基于Himawari-8卫星的火点判识算法研究

利用新一代静止气象卫星Himawari-8数据，提出一种新的自适应阈值决策树低温火点判识方法。该方法基于2.3μm和0.86μm通道数据，以晴空像元和背景像元本地化判识结果为基础进行火点识别。选取山西省作为研究区域，利用2020年4月24日和2021年2月20日数据进行验证，结果表明：(1)对于森林火灾初期火势较小的火点可以尽早判识（采样点最早提前40 min）；(2)对草地、耕地上范围较小、温度较低的火点判识在时效性和准确率方面均表现良好；(3)新增的低温火点判识算法有效地解决了火点多判和漏判的矛盾问题，为尽早识别火点信息，实现有效的灾情监测提供了新思路。     

基于SoC FPGA和CNN模型的动作识别系统设计

动作识别是重要的机器视觉研究领域之一。设计实现基于So C FPGA和CNN模型的动作识别系统。设计实现流水线型LK光流计算、基于HOG与SVM的行人检测模块;设计实现动态行人检测与静态行人检测结果的融合算法,计算出目标人物所在区域;利用该区域的视频图像和光流场数据,输入CNN模型计算得到目标人物的动作识别结果;设计指令集架构的NPU单元用于实现CNN模型计算。整个系统基于DE10-Nano开发板进行软硬件协同开发,能够识别"站立"、"行走"、"挥手"和"下蹲"等动作。该系统具有较高的识别率和较强的设计灵活性,方便CNN模型的扩展与修改。     

基于深度特征融合的中低分辨率车型识别

针对中低分辨率车型识别问题,建立一种改进的卷积神经网络(CNN)特征融合模型。采取特征融合策略对CNN中的不同低层特征进行融合重复利用。为防止出现过拟合现象,结合网络模型稀疏化的结构,使用数据增强方法优化训练数据。分析和实验结果表明,该模型不仅能产生更具区分性的特征,而且能避免由环境等因素引起的干扰,与传统CNN模型相比,具有更高的识别准确率。     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作。针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM)。首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出利用长短期记忆(LSTM)网络进行人体行为动作的识别。由于卷积神经网络在特征提取方面具有较好的性能,且长短期记忆模型擅长处理时间序列问题,因此将这两种模型进行融合理论上具有较好的效果。在WISDM数据集上进行实验,结果表明:该方法对六种人体行为动作的平均识别率达到了96.95%。