基于卷积长短时记忆网络的人体行为识别研究

人体行为识别利用深度学习网络模型自动提取数据的深层特征,但传统机器学习算法存在依赖手工特征提取、模型泛化能力差等问题。提出基于空时特征融合的深度学习模型（CLT-net）用于人体行为识别。采用卷积神经网络（CNN）自动提取人体行为数据的深层次隐含特征,利用长短时记忆（LSTM）网络构建时间序列模型,学习人体行为特征在时间序列上的长期依赖关系。在此基础上,通过softmax分类器实现对不同人体行为分类。在DaLiAc数据集的实验结果表明,相比CNN、LSTM、BP模型,CLT-net模型对13种人体行为的总体识别率达到了97.6%,具有较优的人体行为识别分类性能。     

基于交叉注意力机制的煤矿井下不安全行为识别

对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂,监控视频质量不佳,导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型,用于识别煤矿井下人员不安全行为。针对分段视频图像,采用3D ResNet101模型提取图像特征,采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征;采用交叉注意力机制对图像特征和人体关键点特征进行融合处理,并与经自注意力机制处理后的图像特征和人体关键点特征拼接,得到最终行为识别特征;识别特征经全连接层及归一化指数函数softmax处理后,得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验,结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征,大幅提高识别准确率;与目前应用最广泛的行为识别模型SlowFast相比,基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%,在自建数据集上的识别准...     

基于双流非局部残差网络的行为识别方法

针对传统卷积神经网络（CNN）对人体行为动作仅能提取局部特征易导致相似行为动作识别准确率不高的问题,提出了一种基于双流非局部残差网络（NL-ResNet）的行为识别方法。首先提取视频的RGB帧和密集光流图,分别作为空间流和时间流网络的输入,并通过角落裁剪和多尺度相结合的预处理方法进行数据增强;其次分别利用残差网络的残差块提取视频的局部表观特征和运动特征,再通过在残差块之后接入的非局部CNN模块提取视频的全局信息,实现网络局部特征和全局特征的交叉提取;最后将两个分支网络分别通过A-softmax损失函数进行更精细的分类,并输出加权融合后的识别结果。该方法能充分利用局部和全局特征提高模型的表征能力。在UCF101数据集上,NL-ResNet取得了93.5%的识别精度,与原始双流网络相比提高了5.5个百分点。实验结果表明,所提模型能更好地提取行为特征,有效提高行为识别的准确率。     

高可信度加权的多分类器融合行为识别模型

为了提高基于智能移动设备的人体日常行为识别准确率,提出一种高可信度加权的多分类器融合行为识别模型（MCFM）。针对不同智能设备内置加速度传感器获取的三轴加速度信息,优选出与人体行为相关度高的特征集作为该模型的输入,将决策树、支持向量机以及反向传播（BP）神经网络三个基分类器通过高可信度加权投票算（HRWV）法训练出一个新的融合分类器。实验结果表明,所提出的分类器融合模型能有效提高行为识别的准确率,对静止、散步、跑步、上楼及下楼五种日常行为的平均识别准确率达到94.88%。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于TsFresh-Stacking的毫米波雷达人体跌倒检测方法

针对雷达频谱图空间信息较少,且通过单一机器学习算法进行毫米波雷达人体跌倒行为识别精度低、稳定性差的问题,使用人体空间雷达点云时序数据,提出了融合TsFresh特征提取和Stacking堆叠集成学习的跌倒识别方法。首先,采用TI-IWR6843毫米波雷达采集人体动作对应的人体运动跟踪时序数据,构建包含不同年龄、身高、体重信息、跌倒方式的数据集。其次,结合TsFresh时序特征提取工具和基于随机森林模型的特征重要性提取人体跌倒关键时序特征。最后,提出了融合随机森林、支持向量机、K-最邻近算法、XGBoost和CatBoost 5种单元机器学习模型的Stacking堆叠式集成学习方法。结果表明,与典型单一机器学习算法相比,Stacking集成学习算法具有明显的性能提升,能够有效提升人体跌倒行为识别准确性和泛化性。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

基于多传感器数据融合的人体运动模式识别研究

针对单一传感器在人体运动姿态监测中误差较大的问题,提出了一种基于加速度传感器和陀螺仪数据融合的人体运动模式识别方法;该方法使用陀螺仪输出的人体运动信息对加速度传感器采集到的姿态角信息进行修正,采用卡尔曼滤波算法实现多传感器信息的融合,有效提高了姿态角度测量的准确度;根据人体日常的活动状态构建了基于人体姿态角度特征的隐马尔可夫模型实现人体运动模式的识别;实验表明,该方法比采用单一传感器方法识别的准确率高,可以有效区分不同的日常活动行为。     

基于惯性传感器的人体行为识别系统设计

为了准确识别人体行为，为医疗、游戏、智能产品等产业提供数据支持，设计了基于惯性传感器的人体行为识别系统，根据人体结构的关节模型选择其中的主要关节，佩戴惯性传感器采集人体行为信息，利用主成分分析法提取关键特征，采用SVM算法构建人体行为分类器。经过16种行为的测试验证，平均识别准确率为86.72%,对于幅度大区别明显的动作识别准确率可达到100%,为人体行为的智能识别提供了实用的解决方案。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于图像处理技术的智能化人体行为识别模型研究

为了排除噪声数据影响、提高人体行为识别的准确率,从分析图像处理技术入手,对图像进行预处理之后利用混合高斯模型提取背景图像,采用改进的帧间差分算法检测目标,利用改进的k-均值算法提取图像特征,基于已获得的图像数据采用改进的HSMM模型实现人体行为识别。通过KTH人体行为数据库的实例数据验证所提出的构建模型的平均识别率高达97.5%,具有良好的检测效果,为人体行为识别提供了智能化检测手段。     

基于毫米波雷达稀疏点云的人体行为识别方法

目前利用毫米波雷达进行人体行为识别的方法在复杂场景下无法很好的区分相似动作,与此同时模型的鲁棒性和抗干扰能力也相对较差;针对以上两个问题,提出了一种通用的基于毫米波雷达稀疏点云的人体行为识别方法,该方法首先利用K-means++聚类算法对点云进行采样,然后使用基于注意力特征融合的点云活动分类网络进行人体行为特征的提取和识别,该网络可以兼顾点云的空间特征以及时序特征,对稀疏点云的运动有灵敏的感知能力;为了验证所提出方法的有效性和鲁棒性,分别在MMActivity数据集和MMGesture数据集上进行了实验,其在两个数据集上取得97.50%和94.10%的准确率,均优于其它方法;此外,进一步验证了K-means++点云采样方法的有效性,相较于随机采样,准确率提升了0.4个百分点,实验结果表明所提出方法能够有效的提升人体行为识别的准确率,且模型具有较好的泛化能力。     

基于深度置信网络的高分辨率雷达距离像识别

为提高雷达目标识别准确率,提出了一种基于深度置信网络（DBN）的高分辨率雷达距离像（HRRP）识别方法。首先利用受限玻尔兹曼机（RBM）对HRRP数据进行逐层无监督训练,根据对比散度（CD）算法更新网络参数,通过误差重构设计DBN深度;而后利用反向传播（BP）机制对DBN模型参数进行有监督的微调;最后基于该模型实现了HRRP的分类与识别。实验结果表明,与传统神经网络相比,基于深度置信网络的识别准确率及噪声鲁棒性显著提高,识别准确率可提高8.5%。     

基于双注意力时间卷积网络的人体行为识别

为解决TCN使用可穿戴传感器数据进行人体行为识别准确率不高的问题,提出适用于可穿戴传感器数据的双注意力时间卷积网络的人体行为识别模型。为TCN引入两类不同的注意力模块,提取与当前行为高度相关的深层特征。利用LN层代替TCN中残差模块的WN层,优化模型的残差结构。创新性地应用三元组损失函数区分高相似传感器数据的异类行为。实验结果表明,在公共人体行为数据集PAMAP2上采用该模型的识别准确率高达98.25%,相较原始TCN模型提升了5.28%。     

基于改进Canny算子和神经网络的人体行为识别模型

为了提高了人体行为识别的正确率,提出了一种基于改进Canny算子和神经网络的人体行为识别模型（ICanny-RBF）。采用改进Canny算子对人体行为图像进行预处理,提取人体行为轮廓,提取7个不变矩特征作为RBF神经网络的输入向量,训练出能够识别人体行为的RBF神经网络模型,并采用取k-means算法确定RBF神经网络聚类中心,采用Weizmann数据集进行仿真实验。仿真结果表明,与传统方法相比,提出的ICanny-RBF模型提高了人体行为的识别正确率。     

雷达场景识别系统设计

为了能在海上电子对抗战中及时了解敌军的动向与目的 ,以长短时记忆循环神经网络和知识图谱结合的方法设计了一套雷达场景识别系统;该系统对雷达的行为特征规律进行了研究和识别,并在雷达行为识别的基础上进行了雷达的场景识别;该系统进行了典型的场景知识构建与集成相似性计算,通过捕获的敌方的雷达数据进行场景识别与仿真;采用了Web仿真技术,搭建了一套三维动态场景,根据场景里面雷达工作剧本进行仿真,产生仿真数据,写入MySQL数据库,然后在场景知识库中进行对比分析,经过实验测试识别出了雷达的行为结果与测试时序内的场景结果;通过场景仿真和识别结果分析,最后能够得出准确率90％以上的识别结果,经实仿真推演满足了实战中的需求;该系统相比其他识别方法,能够以更少的数据和资源就能得出一个较高的识别准确率.     

基于骨骼时序散度特征的人体行为识别算法

人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术。图卷积神经网络（GCN）在基于骨骼的人体行为识别上取得了卓越的性能。不过GCN在人体行为识别研究中存在以下问题：1）人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2）在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显。针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差。并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差。最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型。所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9%和83.7%的准确率,相比自适应图卷积网络（AGCN）提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性。     

基于深度学习的车辆驾驶行为识别系统设计

传统系统的计算能力较弱,在车辆驾驶行为识别实际应用中经常出现错误识别,准确率较低,为此提出基于深度学习的车辆驾驶行为识别系统。系统硬件方面设计了主控制器、惯性传感器和报警器3个硬件设备,软件方面设计了数据清洗和基于深度学习识别驾驶行为两个功能模块,利用数据清洗模块对原始数据进行无效值处理、标准化处理,将处理后的数据利用深度学习网络模型进行分析,输出识别结果。实验结果表明,该系统的准确率高于传统系统,能够准确识别出车辆驾驶行为。     

基于多视图自适应3D骨架网络的工业装箱动作识别

目的 动作识别在工业生产制造中变得越来越重要。但在复杂的生产车间内,动作识别技术会受到环境遮挡、视角变化以及相似动作识别等干扰。基于此,提出一种结合双视图骨架多流网络的装箱行为识别方法。方法 将堆叠的差分图像（residual frames,RF）作为模型的输入,结合多视图模块解决人体被遮挡的问题。在视角转换模块中,将差分人体骨架旋转到最佳的虚拟观察角度,并将转换后的骨架数据传入3层堆叠的长短时记忆网络（long short-term memory,LSTM）中,将不同视角下的分类分数进行融合,得到识别结果。为了解决细微动作的识别问题,采用结合注意力机制的局部定位图像卷积网络,传入到卷积神经网络中进行识别。融合骨架和局部图像识别的结果,预测工人的行为动作。结果 在实际生产环境下的装箱场景中进行了实验,得到装箱行为识别准确率为92.31%,较大幅度领先于现有的主流行为识别方式。此外,该方法在公共数据集NTU（Nanyang Technological University）RGB+D上进行了评估,结果显示在CS（cross-subject）协议和CV（cross-view）协议中的性能分别达到了85.52%和93.64%,优于其他网络,进一步验证了本文方法的有效性和准确性。结论 本文提出了一种人体行为识别方法,能够充分利用多个视图中的人体行为信息,采用骨架网络和卷积神经网络模型相结合的方式,有效提高了行为识别的准确率。     

一种雷达辐射源识别模型研究

复杂电磁环境下雷达辐射源识别问题是当前急需解决的难题。针对雷达辐射源识别中不确定信息影响,改进数据库比对识别法,通过融合BAM神经网络（NN）和模糊推理（FR）,建立基于NN-FR的雷达辐射源识别模型,以达到缩短识别时间,提高识别效率的目的,为复杂电磁环境下识别雷达辐射源探索新的方法。