基于FPA-VVRKFA的手势表面肌电信号识别

表面肌电(Surface Electromyography,sEMG)信号直接、客观地反映了人体肌肉的活动情况,其作为一种便捷的无侵入式肌电检测方法,被广泛地应用于人体动作识别领域.针对表面肌电信号的手势识别问题,提出了一种基于时域特征和向量正则核函数逼近方法(Vector-Valued Regularized Kernel Function Approximation,VVRKFA)的手势识别方法.首先,对MYO臂环采集到的sEMG数据进行活动段检测以提取出活动段;随后,从活动段信号中提取平均绝对值、波形长度、过零点数、均方根和Willison幅值等五个时域特征;最后,应用VVRKFA分类器对提取到的sEMG进行分类识别,同时采用花授粉算法(Flower Pollination Algorithm,FPA)优化分类器参数以保证最佳分类能力.实验结果表明提出的方法在手势动作模式识别上取得了较高的准确率.     

基于时频组合特征的PSO-SVM手势识别方法

为了提高基于表面肌电(sEMG)信号的手势识别的准确率,提出了时频组合特征和粒子群算法优化支持向量机(PSO-SVM)相结合的手势识别方法.将手势sEMG信号的时域特征和频域特征进行线性组合,组合后的时频组合特征作为分类特征,采用经PSO优化的SVM分类器对8类手势进行分类.结果显示,基于时频组合特征均方根值-平均功率频率(RMS-MPF)、绝对均值-平均功率频率(MAV-MPF)的手势识别率,优于它对应的时域特征、频域特征的手势识别率,同时也优于时频域特征的手势识别率.表明了基于时频组合特征RMS-MPF、MAV-MPF的PSO-SVM方法对手势识别有良好的分类效果.     

采用深度学习和表面肌电信号的上肢动作识别

使用上肢表面肌电信号对上肢动作进行识别是实现康复机器人持续被动运动和主动辅助运动模式的重要方法。为了提高基于表面肌电信号(surface electromyography, sEMG)的上肢动作识别精度,分别采用了分段时域信号和拼接频谱图的两种肌电动作识别方法。分段时域信号方法采用融合卷积神经网络(convolutional neural network, CNN)、长短时记忆网络(Long Short-term Memory, LSTM)和注意力机制的自建网络对上肢动作进行识别;拼接频谱图方法将预处理后的时域信号通过短时傅里叶变换(Short-Time Fourier Transform, STFT)转换为对应频谱图,利用两种微调的预训练模型VGG16和Resnet50对所有通道竖直拼接的频谱图提取特征并将特征拼接,结合支持向量机对上肢动作进行识别。实验结果表明,所提出的两种方法在采集的受试者肌电信号数据集上均表现出90%以上的识别精度,可有效区分不同的上肢动作。     

基于双通道混合3D-2D RBM模型的手势识别

为了挖掘基于视频的动态手势识别问题中手势的固有时空表示,提出一种3D-2D受限玻尔兹曼机(restricted Boltzmann machine,RBM)模型,以便建模手势视频数据的时空相关信息.特别地,为了更好地描述动态手势的时空特征,提出传统手工定义特征与3D-2D RBM结合的混合特征表示方法,该方法首先提取Canny-2D HOG表观特征以及光流-2D HOG运动特征,然后基于3D-2D RBM进一步学习动态手势潜在的高层时空语义特征,提升动态手势的特征描述力.融合手势外观判别和运动判别的双通道融合判别改进了单通道分类的能力.在公开的剑桥手势数据集上的实验验证了所提方法的有效性和优越性.     

改进频率切片小波变换和卷积神经网络的手势肌电信号识别

为了提高肌电信号手势动作识别准确率,基于数据驱动提出结合改进频率小波切片变换和卷积神经网络的肌电手势识别方法。利用滑动窗对8通道肌电信号进行分割,通过改进频率小波切片变换将信号映射为时间-频率谱图,处理后的谱图输入一个18层卷积神经网络进行手势识别。采用133 000个肌电样本数据随机等分进行实验验证,7种手势动作的平均准确率达到97.94%,准确率在不同环境温度和电极测量位置(±1 cm)下无明显降低,提出方法手势识别准确率高、鲁棒性好。     

基于多通道表面肌电信号的手势识别方法研究

为验证基于表面肌电信号控制智能假手的可靠性,构建一种基于网格划分(Grid Search)优化支持向量机(SVM)的手势动作识别模型.从Ninapro数据集中截取部分动作信号数据,通过提取5种时域特征和基于小波包的时频域特征,利用SVM和Grid Search-SVM对不同种手势动作进行分类,并对比分类模型的可靠性.实验结果表明,在训练集数据量不同时,分类效果不同;且在训练程度相同时,优化后的分类模型较未优化模型分类效果更好,平均准确率相比提高了21.37％.该模型的建立为以后实时控制智能假肢奠定了基础.     

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.     

改进AR模型特征提取及分类

目前,表面肌电信号（sEMG）是手势动作识别研究的重要信号源.本文以肌电信号为对象,从非平稳与非线性的角度出发,采用ICA独立成分分析和经验模式分解的方法,消除表面肌电信号中的工频干扰,对处理后的信号建立AR模型.将模型系数作为信号的特征,对6种手势动作进行模式识别.实验表明,该方法获得的特征具有较好的分类效果.     

融合KCF和HOG的改进TLD目标跟踪算法

针对跟踪-学习-检测(TLD)算法跟踪速度慢,对光照变化鲁棒性差的问题,提出了一种融合核相关滤波(KCF)和方向梯度直方图(HOG)的改进TLD目标跟踪算法.该算法将TLD跟踪模块的中值流跟踪替换为KCF目标跟踪,通过循环矩阵将计算从时域转换到频域,大大降低了计算量,提高了算法的跟踪速度;再通过提取目标的HOG特征,代...     

基于线性判别分析的表面肌电信号动作模式识别

表面肌电信号(SEMG)属于非平稳的生物电信号,特点是信号微弱、易受干扰.为了有效提取表面肌电信号(SEMG)特征、更好地识别人体上肢运动的模式,针对表面肌电信号的特点提出了一种线性判别分析人体前臂运动特征的识别方法.通过虚拟仪器同时采集桡侧腕屈肌和肱桡肌两路的表面肌电信号,取平均绝对值(MAV)和均方根(RMS)为特征参数,应用线性判别分析(LDA)方法对样本特征矩阵进行模式识别.与其他特征识别方式的对比实验表明,此方法的动作识别率更高,能够成功地从表面肌电信号中识别握拳、展拳、手腕内翻和手腕外翻4种动作,动作的平均识别率达到了99.5%.     

基于层次化BoF模型和Spectral-HIK过滤的手势识别算法

为了解决基于计算机视觉的人类手势识别问题,提出一种名为层次化Bag-of-Features(BoF)的模型.该模型通过对人手区域进行划分和对图像特征分别向水平和垂直轴投影来提取图像特征的空间分布信息.为了准确快速地实现手势识别,构建一种基于直方图交叉核的手势识别分类算法.该算法结构简单、运行效率高,而且充分利用层次化BoF模型的结构特点.为了进一步提高在复杂背景下手势识别准确率和运行效率,采用一种基于谱和直方图交叉核的背景特征点过滤算法.实验结果显示,所提算法对于简单背景下的手势识别准确率可达99.79%,而对于复杂背景下的识别准确率为80.01%.     

时空特征与通道注意力融合的视觉手势识别技术

为了解决双流融合网络对动态手势关键帧及手部轮廓特征检测不足的问题,提出一种手势时空特征与通道注意力融合的动态手势识别方法.首先,在双流融合网络中引入有效通道注意力(eficient channel attention,ECA)增强双流识别算法对手势关键帧的关注度,并利用双流中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术(single shot multibox detector,SSD)提取相应手部轮廓特征;最后,将手部轮廓特征与双流中提取的人体姿态特征、时序特征融合后分类识别手势.该方法在Chalearn 2013多模态手语识别数据集上进行了验证,准确率为66.23％,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果.     

基于直方图和功率谱比值的肌电信号识别方法

仿生肌电假肢的控制依赖于表面肌电信号,其中基于表面肌电信号的肢体动作识别是关键。该文提出一种时域波幅直方图和频域功率谱比值相结合的特征提取方法,通过对两路表面肌电信号的波幅直方图分析和频谱分析,以波幅比值作为时域特征,以功率谱比值作为频域特征,通过证据理论对它们各自利用神经网络得到的分类结果进行证据累积,最终得到分类结果。实验证实了该算法的识别率高于利用单一特征参数的分类方法。     

基于ANOVA和BP神经网络的最优肌电信号测量位置选择

基于肌电信号的手部动作识别中,肌电信号测量位置的选择直接关系到动作识别的准确率.本文以使用最少的肌电传感器和获得较高的动作识别率为目标,提出一种基于ANOVA(方差分析)和BP神经网络的肌电信号测量位置优选方法.使用4个肌电传感器采集受试者做出指定动作时的肌电信号,提取肌电信号的时域特征,并按测量位置组合构成15个不同的样本进行BP神经网络的训练和测试.采用单因素ANOVA分析测量位置对动作识别结果影响的显著性,采用Tukey HSD将测量位置进行归类,并从动作识别率最高的子集中选择测量位置最少但识别准确率最高的测量位置组合作为最优的肌电信号测量位置.实验结果表明,测量位置对动作识别的结果具有显著的影响,随着测量位置数的增加,动作识别准确率呈上升趋势,最优的测量位置组合为P1+P3+P4,其动作识别准确率为94.6%.     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

基于多源信息和粒子群优化算法的下肢运动模式识别

为了提高人体下肢多运动模式识别的准确性,提出一种基于多源信息和粒子群优化算法-误差反向传播(PSO-BP)神经网络的识别方法.建立下肢多源信息采集系统,该系统由下肢表面肌电信号、髋关节角度、髋关节加速度组成.选择肌电信号偏度、峭度和功率谱比值为肌电信号特征,髋关节角度细分模式均值比为腿部角度信号特征,加速度标准差、能量峰值、两轴相关性系数为髋关节加速度特征.按照主成分分析(PCA)方法融合上述特征值,利用PSO-BP进行识别.实验结果表明:该方法识别率为95.75%,平均识别时间为1.234 8s.     

基于时域、频域脑电(EEG)特征情感分类研究

目前的情绪识别技术已经成功地将情绪变化与脑电信号联系起来,并在适当的刺激下从脑电信号中进行识别和分类.因为声音以及表情等信号具有一定的伪装性,而脑电信号(EEG)和情绪的变化密切相关,通过对EEG信号的分析可以更精确的反映人的情感变化.对EEG信号的研究集中于通过时域和频域的角度提取出特征信号,采用基于熵(entropy)的可分性判断进行特征选择,分别使用SVM和HMM-SVM模型两种分类方法进行情绪分类,然后对分类结果进行分析、比较.结果表明,利用HMM-SVM模型基于频域特征的分类结果最好,平均准确率为83.93％.     

基于概率神经网络的多模态感知假肢手

基于人体表面肌电信号(Surface Electromyography,sEMG)和多传感器数据构建一种人机一体化的感知假肢控制系统和感知系统.实现肢体常规物理动作的实时控制,并建立人体对外部信息的实时反馈.利用概率神经网络(PNN)对提取出的肌电特征进行识别和分类,手势识别率能够达到96.8％,同时避免了其他神经网络学习复杂度高、用时长的缺点,进一步增强假肢手控制系统实时性.随后,利用多传感器检测假肢手外部物理信息,以此构建一个多模态的闭环感知反馈系统.实现对人体和机械的智能融合.     

基于特征融合的人脸表情识别算法研究

为了避免传统表情识别方法中复杂的特征手动提取过程,同时保证能够提取到更多的表情特征,文中提出一种融合卷积神经网络(Convolutional Neural Network,CNN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)以及人脸关键点定位(facial landmark detection)的人脸表情识别方法.该方法首先通过在图像预处理中使用多任务卷积神经网络(Multi-task convolutional neural network,MTCNN)对不同尺度输入图像进行人脸检测并得到人脸的关键点位置信息(facial landmark).然后根据facial landmark的位置信息计算出人脸表情图像的几何结构特征,并且计算人脸表情图像局部区域的方向梯度直方图来构成HOG特征,采用特征融合的方式将facial landmark和HOG特征做进一步的融合形成新的特征向量LM_HOG.最后将融合后的特征与经过CNN提取的全局特征再次融合输入到支持向量机(Support Vector Machine,SVM)和Softmax中进行表情识别.在FER2013和Extended Cohn-Kanade(CK+)人脸表情库上的实验结果表明,将融合得到的LM_HOG特征作为局部特征,用以描述图像的局部性差异,CNN提取的特征作为全局特征,用以描述人脸表情图像的整体性差异,融合后的特征能更好的提取图像细节特征,平均识别率分别达到了75.14％和97.86％,具有优越的性能.     

融合语音信号和脑电信号的多模态情感识别

为构造有效的情感识别系统,通过声音刺激分别诱发出高兴、悲伤、生气以及中性4种情感,并采集相应的语音信号和脑电信号。首先,利用相空间重构技术提取脑电信号和语音信号的非线性几何特征和非线性属性特征,并结合两者的基本特征分别实现情感识别;然后,通过构建基于限制玻尔兹曼机的特征融合算法,从特征层融合的角度实现多模态情感识别;最后,利用二次决策算法从决策融合的角度构建多模态情感识别系统。实验结果显示,从特征融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高1.08%和2.75%;从决策融合的角度构建的多模态情感识别系统相比语音信号和脑电信号情感整体识别率,分别提高6.52%和8.19%;决策融合相比特征融合构建的多模态情感识别系统整体识别效果更优。因此,融合语音信号和脑电信号等不同来源的情感数据可以构造出更有效的情感识别系统。