基于残差融合双流图卷积网络的手势识别方法

针对传统图卷积网络易忽略空间特征与时间特征之间关联的问题,设计了一种基于残差结构和图卷积网络相融合的双流网络模型。首先网络包括空间流和时间流两个通道,将手势骨骼数据构建成空间图和时序图作为两通道的输入,通过分离时间维度和空间维度极大地提高了训练速度。然后为了增加网络深度,避免梯度消失等问题,嵌入残差结构并对其进行改进,更加有效利用时间特征,保证了特征的多样性。最后将两通道输出的空间点集序列和时间边集序列串联转化,输入Softmax分类器进行分类,得到识别结果。将新提出的方法在CSL和DEVISIGN-L手势数据集上进行实验,结果表明在两个数据集上识别精度分别达到了96.2%和69.3%,证明该方法具有一定的先进性。     

基于对比学习的信息缺失手势识别新方法

针对现有深度学习模型识别信息缺失手势需要大量标注数据、更深的网络需要更多参数的问题，首先收集整理了一个信息缺失手势数据集IMG＿NUIST,然后借鉴对比学习思想，提出了一个新的信息缺失手势识别模型CLGR,该模型通过对手势类内和类间差异度的对比约束提高模型特征学习性能。在两个经典数据集(ASL Alphabet和NUS I)和新提出的IMG＿NUIST数据集上进行了广泛实验，消融实验表明对比学习思想能有效地将平均识别准确率提高至98.60%以上且收敛速度显著提升；对比实验表明本文所提模型计算复杂度比其它4个模型平均简化了41.4%,在NUS I和IMG＿NUSIT数据集上的手势识别准确率超过四个对比方法，特别是在NUS I数据集上将识别准确率平均提高了17.35%,在ASL Alphabet数据集上的识别准确度仅比最优结果低0.43%。实验结果说明所提模型对于缺失手部部分信息和杂乱背景等问题的手势识别任务有显著效果，具有收敛速度更快、计算复杂度更少的优秀性能，有很好的实用价值。     

基于半监督集成学习的自适应入侵检测研究

在网络入侵检测中,网络攻击新方法层出不穷,传统基于块数据的集成学习算法由于无法收集完备的训练集,导致入侵检测系统无法识别新的攻击行为.为此,提出基于半监督集成学习算法,把半监督学习思想引入到集成学习中,使得分类模型可以动态更新,从而使入侵检测模型具有自适应性,提高对未知攻击行为的识别率.通过在NSL-KDD数据集上进行仿真试验,结果表明算法可以提高检测准确率,尤其是对未知的入侵行为的识别率有所提高.     

基于改进的残差网络面部表情识别

为了解决人脸表情识别中存在的对关键信息获取能力不足、识别率偏低、模型容易出现过拟合等问题，以ResNet18作为基本网络进行改进得到一个新的表情识别模型(IERNet)。IERNet通过引入ECA注意力机制构建出两种不同的注意力残差单元，并组成注意力残差模块，从而增强对深层的表情关键特征的提取能力；又引入Iception模块来提取图像的多尺度浅层信息，通过同时引入这两个模块的方式增强了网络的鲁棒性、提升了模型的识别率；最后使用全局平均池化结合Dropout技术取代全连接层，可以有效防止模型的过拟合问题同时还能简化模型。通过实验数据可知，在公开表情数据集CK+和FER2013上取得了不错的成绩，准确率分别达到了97.778%和73.558%。     

基于轻量级卷积神经网络的手势识别检测

针对基于深度学习的手势识别模型参数量大、训练速度缓慢且对设备要求高,增加了成本的问题,提出了一种基于轻量级卷积神经网络的手势识别检测算法。首先利用Ghost模块设计轻量级主干特征提取网络,减少网络的参数量和计算量;通过引入加权双向特征金字塔网络改进特征融合网络,提升网络检测精度;最后使用CIoU损失函数作为边界框回归损失函数并加入Mosaic数据增强技术,加快模型收敛速度提升网络的鲁棒性。实验结果表明,改进后的模型大小仅为17.9M,较原YOLOv3模型大小减小了92.4%,平均精确度提高了0.6%。因此新的检测方法在减少模型参数量的同时,还可保证模型的检测精度和效率,为手势识别检测提供理论参考。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

基于改进 ResNet50 的表面肌电信号手势识别

为了提高手势动作在类别众多且相似度高的情况下的识别精度,提出了一种基于连续小波变换和残差神经网络Res- Net50的表面肌电信号手势识别方法。首先对Ninapro DB2 和 DB3 的原始表面肌电信号进行预处理和连续小波变换,得到 Multi-sEMG Wavelet Map 数据集,然后送入改进的ResNet50模型进行识别分类。实验结果表明,改进后的ResNet50 网络模 型在 Multi-sEMG Wavelet Map DB2 和 DB3中17种手势动作的平均准确率分别达到了96.40%和94.11%,相比 ResNet50 网络模型方法提升了4.87%和5.83%。实现了手势动作在类别繁多、相似度较高的情况下的精准识别。为基于非侵入式传 感器和机器学习控制的假肢手提供了新方案。     

基于ICNet模型的人体步态识别研究

步态作为一种行为特征,具有非侵犯性高、伪装性低和远距离识别等特点,具有广阔的应用前景。在实际应用时,步态识别易受环境因素干扰,识别率低。本文提出了一种在胶囊网络中引入空间注意机制,提升有效步态特征在胶囊的权重,又通过反馈权重矩阵的设计,更新输入图像,从而获得网络性能提升的方法。该方法在CASIA-B数据集进行了大量的实验。在正常行走、带包行走、大衣行走三种不同的行走条件下,平均识别率分别达到93%,85%,67%。同时在OU-MVLP数据集上进行了多视角的步态识别实验,平均识别率达到了85%。     

基于深度学习和多模型融合的局部放电模式识别方法

局部放电与电力设备的绝缘状态息息相关,准确识别局部放电类型对于保障电网运行具有重要意义。文中提出一种基于深度学习和多模型融合的局部放电模式识别方法。首先,设计并搭建开关柜内4类典型局部放电缺陷模型,采集局部放电相位分布(phase resolved partial discharge,PRPD)图谱并建立样本集;其次,搭建基于迁移学习的深度残差网络,对局部放电缺陷进行识别;最后,利用Sugeno模糊积分将深度残差网络(deep residual net￣work,DRN)模型与传统识别模型进行融合。实验结果表明：迁移学习模型相比于无迁移学习模型有着更好的更新能力和泛化性能;融合模型与单一模型相比具有更高的识别准确率。所提方法能够准确识别局部放电缺陷类型,对于电力设备的运维检修具有一定的参考价值。     

基于动态贝叶斯网络的手势识别

研究了动态手势的识别技术,实现人机交互。采用HSV空间的肤色模型实现手势定位,光流场算法进行手势追踪,具有较好的快速性、准确性和鲁棒性。提出应用链码描述手势运动矢量,双手相对位置标量以及双手与脸的相对位置标量,将多条链码作为动态手势的特征进行提取。建立了一个动态手势识别的动态贝叶斯网络模型,将一部分手势链码作为训练样本,通过对DBNs的推理学习实现手势识别。实验构建动态手势识别系统,可应用于多媒体、智能电器或幻灯片控制之中。     

Grael脑电放大器与深度学习的手势实时识别研究

手势识别是人机交互的关键。为了能够更好地实现脑电信号与肌电信号的融合,精准地识别人体的运动,本文建立了一套基于Grael脑电放大器的手势动作实时检测识别的研究系统。通过Grael脑电放大器和Curry8系统采集5个通道的8种不同手势的表面肌电信号(sEMG),并对采集到的sEMG信号进行滤波去噪、滑动窗口分割以及特征提取等预处理的操作;最后采用几种常用的分类器与卷积神经网络(CNN)对不同手势的sEMG信号进行实时分类识别。结果表明CNN的识别准确率最高,能达到92.98%;对每个手势动作进行30次实时识别检测,结果显示识别延迟大概在1～1.5 s,实时识别的精度可高达90%。该系统为将来研究脑电信号与肌电信号的融合提供了一个可行的方法,在人机交互方面展现了巨大的潜力和应用空间。     

基于半监督生成对抗网络的毫米波雷达跨域手势识别

基于深度学习的毫米波雷达手势识别以其免接触、保护隐私和环境依赖性低等特点受到越来越多的关注。但是目前的学习方法大都采用全监督方法,其性能受限于雷达数据的获取和标注,且其学习样本都来源于单一环境,极大的影响了不同场景下的迁移能力,因此本文提出了一种基于半监督生成对抗网络的跨域手势识别方法。首先,通过数据预处理,提取动态混合特征时间图（DFTM）以消除环境干扰,并且对手势动态特征进行更加全面的表征;其次,结合毫米波信号特点进行数据增强,进一步扩充数据量,提高模型泛化能力;第三,针对实际应用中可获得的标记数据通常较少的问题,提出并构建了一个改进半监督生成对抗网络,在原始GAN的基础上增加了分类器,通过生成数据帮助提高分类器辨别能力,同时利用源域中的少量标记数据和目标域中的大量未标记数据,实现域无关的手势识别。实验结果表明,对于新用户、新环境和新位置的平均手势识别准确率分别达到 98.21%、95.23%和97.6%。与现有其他手势识别方法相比,本文所提方法在只有少量标记数据的情况下也能达到较高的跨域手势识别准确率,为后续毫米波雷达人机交互提供了新的研究思路。     

基于数据手套的无人机端侧控制系统设计

为克服复杂环境下,遥控器、地面站等传统控制设备无法灵活便捷控制无人机的问题,提出一种基于数据手套的无人机端侧控制系统,该系统能够实现通过手势对无人机的控制。首先采用集成柔性传感器和惯性传感器,基于STM32的无线数据手套,用于收集训练和测试数据。根据从数据手套中获得的数据,采用部署到STM32嵌入式处理器的BP神经网络进行端侧手势识别,最后将手势转换成标定的无人机控制指令,并发送到无人机端,实现对无人机的控制。对8种手势进行共400次识别验证,手势识别率为97%。通过Airsim仿真平台进行无人机仿真实验,8种手势对应的无人机基本控制指令识别 准确率为100%,表明该系统手势识别效果理想。最终在真实场景下进行试飞,多名参与者可在1分钟内完成提前规定的总路线长度为35m的复杂飞行,实验表明无人机可对手势做出迅速反应,且该系统提供的手势控制方法简单便捷,可以在端侧实现对无人机的实时稳定地控制。     

注意力机制 CNN 结合肌电特征矩阵的手势识别研究

当前基于卷积神经网络(CNN)的手势识别研究集中于增加网络深度,较少关注改善样本数据分布带来的性能提升。 针对此类问题,提出一种量化表面肌电信号(sEMG)特征相关性的肌电特征矩阵(EFM)样本输入有效通道注意力(ECA)机制 CNN,用于识别 NinaproDB1 中 52 类手势。 首先使用时间窗截取低通滤波后的 sEMG,计算多种信号时域特征;然后利用笛卡尔 积组合并相乘不同特征,对特征相乘值进行归一化后得到 EFM。 同时,引入 ECA 机制使网络关注重要的深层特征,从而提升手 势分类效果。 分别输入 sEMG、肌电时域特征和 EFM 到注意力机制 CNN 进行手势识别,EFM 识别准确率最高,达到了 86. 39%, 高于近年来手势识别研究方法精度。 验证了提出方法的有效性,为多类别手势准确分类提供可行新方案。     

基于深度卷积和门控循环神经网络的 传感器运动识别

用于可穿戴传感器的人体运动识别任务的传统机器学习方法通常需要手工提取特征,可以自动提取人体运动数据特征的深度神经网络正成为新的研究热点。目前将卷积神经网络(CNN)和长短期记忆(LSTM)循环神经网络组合而成的DeepConvLSTM在识别精度方面有着优于其他识别方法的表现。针对带有长短期记忆循环单元的神经网络的训练较为困难的问题,提出了一种基于卷积神经网络和门控循环单元(GRU)的融和模型,并在3个公开数据集(ACT数据集、UCI数据集和OPPORTUNITY数据集)上与卷积神经网络和DeepConvLSTM进行了性能对比。实验结果显示,该模型在3个公开数据集上的识别精度都高于卷积神经网络,与DeepConvLSTM相当,但是收敛速度比DeepConvLSTM更快。     

基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Golay,SG)的手势关键点提取方法.该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码.然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点).将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定.从而得到稳定的手势提取特征.对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点.与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48％.     

基于表面肌电和加速度信息融合的手势识别

针对现有手势识别方法中人为提取特征具有局限性的问题,考虑到MYO臂环稀疏多通道的特点,提出一种融合表肌电信号(sEMG)和加速度(ACC)信息的手势识别方案。首先由5位受试者佩戴MYO臂环,同步采集8组不同手势的多通道sEMG、ACC数据;其次采用一种新的数据预处理方法,使用高能量滑动窗将数据进行分割,得到短时有效活动段;最后设计出一种并行多层的LSTM网络,对两类数据进行特征提取和融合,实验准确率达96.87%。结果表明,所提出的手势识别方案简便可行。