利用柔性神经树的实时肌电信号手势识别模型

传统的手势识别通常采用数字信号处理(Digital Signal Processing,DSP)芯片或者集合方法(Ensem-ble Methods)研究实时识别问题。这些方法易导致数学模型参数繁多、硬件连接复杂和实时识别率较低。提出一种基于表面肌电信号与柔性神经树(Flexible Neural Trees,FNT)模型的实时手势识别模型。表面肌电信号(surface Electromyography,sEMG)具有非入侵式、易于采集特点,故被广泛应用于行为识别和诊断等领域。柔性神经树模型通过简单的预定义来构建,能够解决人工神经网络(Artificial Neural Network,ANN)的结构依赖性高的问题。柔性神经树模型不仅能够避免复杂的计算和电路连接,还具有较高的实时识别率和较低的方均根误差(Root Mean Square Error,RMSE)。实验针对六名参与者的六种手势进行测试,结果表明该模型实时识别率较高,实际应用也证明该算法可行。     

基于DSP的人体手势动作实时识别系统

针对人体表面肌电信号(SEMG)的非平稳性、小波包变换系数维数过高和识别率低的问题,设计了基于DSP处理器TMS320VC5502硬件平台的便携式人体手势动作实时识别系统,并提出了一种小波包主元分析(WPPCA)和线性判别分析(LDA)相结合的表面肌电信号动作特征识别新方法。实验结果表明,该方法能够将小波包系数矩阵由16维降到4维,并且对前臂的握拳、展拳、手腕内翻和手腕外翻4种动作模式的平均正确识别率达99.5%,与传统的小波包变换相比有较高的识别率。     

基于表面肌电信号的人机交互软件设计

设计了一种基于Qt的人机交互软件,用于从表面肌电信号中解码出手势,控制空间机械臂灵巧手作业;介绍了肌电信号解码手势并控制仿真灵巧手系统的组成,包括下位机肌电采集接口部分和上位机人机交互软件两部分;详细说明了人机交互软件的3个功能模块,即接收并显示16路神经接口向上位机发送的肌电信号、对肌电信号进行实时手势解码以及控制仿真灵巧手;分析了软件设计过程中的几个关键技术,信号与槽机制、多线程与多进程结合、UDP通信等;最后,设计了基于肌电信号解码3种手势并控制仿真灵巧手的实时实验,手势识别率在98％以上,控制延迟为200 ms左右;实验结果表明,人机交互软件运行稳定,功能齐全,在航天遥操作人机交互系统中具有应用前景.     

基于卷积神经网络的表面肌电信号手势识别

在当前科学技术快速发展的大背景下,通过应用卷积神经网络原理,能够将表面肌电信号的手势通过一维多通道的方式识别出来,避免在前期采用复杂的方法对表面信号进行预处理以及对信息采用手工提取方法所花费的时间.基于此,以右手为活动手,分析了握拳、向左、向右以及展拳4种手势时的表面肌电信号.将不同手势的肌电信号进行标记,生成信号长度不同的8通道信号训练集和测试集,并借助卷积神经网络的相关原理分析了卷积状态下的采样.借助相关研究后通过卷积神经网络的应用,能够实现卷积神经网络表面肌电信号的高效处理,从而实现对手势信号的识别,且识别率能够满足具体使用需求,因此其在实际工作中应用是有价值的.     

基于单振元超声传感器的手势识别系统

手势识别是人机接口应用的一个重要场景,当前的手势识别方法大多基于表面肌电信号(sEMG).为了探索新的传感方式,设计了一种新颖的基于超声传感器的手势识别系统.系统利用多个布置在前臂的单振元超声传感器检测肌肉界面的回波信息,对其进行特征提取和模式识别,识别手腕和手指的动作.实验结果表明:系统对于手指精细动作有良好的识别效果,5个手指动作的平均识别率为(91.1±4.73)％.     

基于卷积神经网络的表面肌电信号手势识别

运用卷积神经网络原理,实现一维多通道的表面肌电信号的手势识别,避免了复杂的前期表面信号的预处理,以及手工特征提取阶段。文中分别采集右手的握拳、向左、向右和展拳4种手势的表面肌电信号。然后将采集的四种不同手势的肌电信号进行切割与标记,生成不同信号长度的八通道信号的训练集与测试集,运用卷积神经网络的原理,分别对其进行卷积、下采样。经过试验研究发现,运用卷积神经网络处理一维多通道表面肌电信号,从而实现手势识别的算法是可行的,并且能够得到较高的识别率。     

基于气压肌动图和改进神经模糊推理系统的手势识别研究

手势识别是人机交互领域的重要研究内容, 为截肢患者控制智能假肢手提供基础. 当前主流方法之一是利用表面肌电图(Electromyogram, EMG)识别手部运动意图, 但肌电信号存在信号弱和易受噪声、汗液、疲劳影响等缺点. 同时肌电图在识别准确率方面, 尤其是截肢患者手势识别方面仍然具有较大的提升空间. 针对这些问题, 设计了基于气压肌动图(Pressure-based mechanomyogram, pMMG)的穿戴式信号采集装置, 为手势识别提供了优质的信号源. 结合深度神经网络中全连接层结构、典型抽样和标准正则化技术, 提出了一种改进多类神经模糊推理系统(Improved multicalss neural fuzzy inference system, IMNFIS), 与传统自适应神经模糊推理系统(Adaptive neural fuzzy inference system, ANFIS)相比, 泛化能力得到显著提升. 招募了7名健康受试者和1名截肢受试者, 并用8种算法开展离线实验. 所提方法在残疾人手势识别实验中取得了97.25%的最高平均准确率, 在健康人手势识别实验中取得了98.18%的最高平均准确率. 与近年公开报道的多种手势识别研究相比, 所提方法的综合性能更优.     

融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.     

基于小波包与支持向量机的复杂信号模式识别

为很好地识别神经和肌肉的功能状态,针对表面肌电信号的非平稳特性,提出了采用小波包变换的方法对原始肌电信号进行分解,并提取其频段系数的最大奇异值构建特征矢量.利用"一对一"的分类策略和二又树构建多类支持向量机分类器,经训练后可以有效地对前臂8种动作的表面肌电信号进行识别,8种动作的平均识别率达到99.375%.实验结果表明,支持向量机分类器的识别率明显优于传统的BP神经网络、Elman神经网络和RBF神经网络分类器,且鲁棒性好,并具有良好的泛化推广能力.     

融合表面肌电和加速度的手势动作识别

针对复杂动态手势识别问题,提出一种融合表面肌电和加速度传感信息的识别方法,对四路表面肌电与三轴加速度信号进行数据采集,通过预处理提取有效活动段,将一个完整动态手势分割为三个区段:起始段、主特征段和收尾段,提取加速度信号的宏观全局特征,并与主特征段表面肌电信号的复杂度微观细节特征组成特征向量,输入支持向量机完成分类。实验结果显示,该方法对4名受试者执行的6种中国手语手势的最高识别率为 91.2%,证明该方法对复杂动态手势具有较好的可识别性。     

Nonlinear multiscale Maximal Lyapunov Exponent for accurate myoelectric signal classification

Surface Electromyography (sEMG) is a non-invasive, easy to record signal of superficial muscles from the skin surface. The sEMG is widely used in evaluating the functional status of the hand to assist in hand gesture recognition, prosthetics and rehabilitation applications. Considering the nonlinear and non-stationary characteristics of sEMG, hand gesture recognition using sEMG signals necessitate designers to use Maximal Lyapunov Exponent (MLE) or ensemble Empirical Mode Decomposition (EMD) based MLEs. In this research, we propose a hand gesture recognition method of sEMG based on nonlinear multiscale MLE. The aim is to increase the classification accuracy of sEMG features while reducing the complexity of EMD. The nonlinear MLE features are classified using Flexible Neural Tree (FNT), which can solve highly structured dependent problems of the Artificial Neural Network (ANN). The testing has been conducted using several experiments with five participants. The classification performance of nonlinear multiscale MLE method is compared with MLE and EMD-based MLE through simulations. Experimental results demonstrate that the former algorithm outperforms the two latter algorithms and can classify six different hand gestures up to 97.6% accuracy.     

基于FPGA的实时手势识别系统

本文构建了一个基于FPGA的实时手势识别平台,并在该平台上实现了一种基于表面肌电(sEMG)信号和加速度(ACC)信号的手势识别算法。具体实现过程中,无线sEMG传感器和无线三轴ACC传感器穿戴于两手前臂实时获取sEMG信号和ACC信号,并以无线方式发送到数据处理模块。数据处理模块充分利用FPGA的并行处理优势,融合ACC和sEMG信息特征,实现了单双手手势的实时识别。经测试,本文所用的手势识别算法移植到FPGA中以后,识别速度明显提高,16个中国手语手势动作达到了95%以上的识别率。     

基于表面肌电图像的灵巧假手控制系统

设计了一种通过佩戴阵列型表面肌电传感器,实时识别受试者的8种手势,并控制一个自主研发的六自由度灵巧操作假手进行同步动作的人–机协同控制系统.控制假手的手势识别策略基于神经网络算法,受试者仅需在首次训练阶段重复完成预先设定的8种手势动作(分别为放松、手腕外翻、手腕内翻、握拳、伸掌、手势2、手势3和竖大拇指),之后该系统即能够实时识别受试者随机完成8种手势中的任意一种手势.本文提出的网络参数随机搜索算法和梯度下降算法,与目前同规模的神经网络相比提高了网络的训练速度和手势预测精度;该手势识别算法使用Tensorflow机器学习框架学习权值并进行了可视化分析;采用经过优化的手势训练方式既缩短了受试者的手势训练时间,同时提高了手势训练的熟练度.本文对一名肌肉无损伤的受试者进行表面肌电信号采集、训练和预测,对8种手势的综合预测精度达到97%,且再次佩戴时不再需要进行训练.受试者实际控制假手时,使用投票算法对实时手势预测结果进行深度优化,最终假手的动作同步率到达99%.     

sEMG信号采集电路设计及其特征提取算法

表面肌电(Surface electromyography,sEMG)信号直接、客观地反映了神经和肌肉的活动功能状态,已获得广泛应用。本文设计了一种sEMG信号采集电路并以单通道形式采集上肢5种动作的sEMG信号,经小波包变换提取6种特征(其中一种引自基于小波变换的特征提取方法)并分别结合PCA和KPCA进行处理;再分别用BP神经网络和SVM进行动作识别。此外,对比了小波变换的特征提取;讨论了KPCA与PCA在特征变换上的差异。所提取的基于小波包变换的6种特征有5种的识别率均超过95.7%,其中引入的高低频系数组合特征在BP神经网络下平均识别率超过99%。基于小波变换提取的5种特征经KPCA变换后也达到较高的识别率。实验结果表明,本文的sEMG信号采集方法及其特征提取方法均达到较好效果。     

基于表面肌电和组织阻抗信息融合的手势识别研究

手势识别中的一种常见方式是通过表面肌电信号来实现。为提高手势识别的稳定性和精度, 通常需要采集多个通道的肌电信号,但这会增加电极传感器的数量以及识别系统的复杂度。因此,如 何利用较少量的通道采集信号并确保手势识别的性能一直是肌电信号应用到意图识别的研究方向之 一。该研究设计了一款便携式四通道肌电和阻抗双模信号采集器,在不增加额外传感器和通道数的情 况下,能同时采集肌电信号和差分电极对之间的组织阻抗信号。初步实验结果表明,通过该系统采集 的四通道融合信息可以提升手势识别的准确率和稳定性。与仅采集肌电信息相比,该研究采用的肌电 与阻抗信息融合方法可以将手势识别性能提升 3% 以上,达到 96.2% 的识别率。     

基于骨架的快速手势识别模型

对于手势识别来说,骨架数据是一种紧凑且对环境条件稳健的数据模态.最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息,然而这些方法可能存在复杂的计算和大量的模型参数的问题.为了解决这个问题,我们提出一种轻量高效的手势识别模型.该模型使用从骨架序列上计算出的两种空间几何特征,以及自动学习的运动轨迹特征,然后只使用卷积网络作为骨干网络实现手势分类.最终我们的模型参数量最少情况下仅为0.16 M,计算复杂度最大情况为0.03 GFLOPs.我们在公开的两个数据集上评估了我们的方法,与其他输入为骨架模态的方法相比,我们的方法取得了相应数据集上最好的结果.     

基于时序二维化和卷积特征融合的表面肌电信号分类方法

针对传统模式识别方法在表面肌电信号(sEMG)分类时容易忽略非线性、时序性等特征的问题,文中提出基于时序二维化和卷积特征融合的分类方法.通过格拉姆角场转换实现时序二维化,保留sEMG原始时间序列的时间依赖性和相关性.为了在突出局部信息的同时充分保留细节信息,引入胶囊网络与卷积神经网络共同提取特征,并进行特征融合,实现不同条件下的手势识别.对比多种分类方法的实验表明,文中方法可以有效增强电极偏移情况和面向新对象时手部动作的整体识别水平,具有较强的鲁棒性.     

一种基于DSP的实时手势交互系统

设计了一种基于DSP的实时手势交互系统,该系统包含多通道无线传感器模块、信号接收及处理模块和手势应用模块.多通道无线传感器模块可直接穿戴于人体,采集并无线发送与手势动作有关的表面肌电(surface electromyography,sEMG)和加速度(Acceleration,ACC)信号,信号接收及处理模块无线接收...