融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.     

基于卷积神经网络的表面肌电信号手势识别

在当前科学技术快速发展的大背景下,通过应用卷积神经网络原理,能够将表面肌电信号的手势通过一维多通道的方式识别出来,避免在前期采用复杂的方法对表面信号进行预处理以及对信息采用手工提取方法所花费的时间.基于此,以右手为活动手,分析了握拳、向左、向右以及展拳4种手势时的表面肌电信号.将不同手势的肌电信号进行标记,生成信号长度不同的8通道信号训练集和测试集,并借助卷积神经网络的相关原理分析了卷积状态下的采样.借助相关研究后通过卷积神经网络的应用,能够实现卷积神经网络表面肌电信号的高效处理,从而实现对手势信号的识别,且识别率能够满足具体使用需求,因此其在实际工作中应用是有价值的.     

融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

基于卷积神经网络的表面肌电信号手势识别

运用卷积神经网络原理,实现一维多通道的表面肌电信号的手势识别,避免了复杂的前期表面信号的预处理,以及手工特征提取阶段。文中分别采集右手的握拳、向左、向右和展拳4种手势的表面肌电信号。然后将采集的四种不同手势的肌电信号进行切割与标记,生成不同信号长度的八通道信号的训练集与测试集,运用卷积神经网络的原理,分别对其进行卷积、下采样。经过试验研究发现,运用卷积神经网络处理一维多通道表面肌电信号,从而实现手势识别的算法是可行的,并且能够得到较高的识别率。     

基于卷积神经网络的手势识别研究

传统的手势识别系统由特征提取和分类器组成,需要人工设计特征,但很难达到足够满意的效果且耗费大量的时间。将卷积神经网络应用于手势识别,能直接把图像数据输入网络,且不用进行复杂的前期预处理。卷积神经网络拥有很强的鲁棒性和较低的复杂性,通过大量的仿真实验,证明了该识别方法具有很好的识别效果,相比现有方法有较大的优势。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于深度神经网络的sEMG手势识别研究

为了提高表面肌电信号（sEMG）手势识别算法的准确性,并解决人为提取大量特征具有局限性的问题,提出了一种基于深度神经网络的手势识别方法。将MYO臂环采集到的8通道sEMG数据,采用活动段分割的方法探测到有效动作;设计出一种融合卷积神经网络（CNN）和长短时记忆（LSTM）网络的神经网络;实验的结果表明手势识别准确率为91.6%,验证了提出的方案高效可行。     

基于视图融合和注意力机制的三维小目标识别

三维小目标识别是点云处理中的一个重要问题。针对小目标探测中点云稀疏导致网络提取特征少的问题,提出一种基于视图融合和注意力机制的点云识别网络。传统网络直接作用于单视角点云,其特征只包含目标的一部分,因此提出采用视图融合聚合不同视角下的局部点,以此增强全局特征。接着,针对聚合后的全局点特征提取困难的问题,提出采用注意力机制突出关键局部特征。实验结果表明,提出的方法在公开数据集ModelNet和真实环境中采集的Aircraft数据集上的效果都优于其它流行算法。     

融合多视图注意力机制的城市交通流量补全

交通流量信息是智能交通系统和城市计算的重要基础.交通流量数据作为新型时序数据,由于数据的采集方式和外部复杂因素的影响,使得数据缺失现象是常见且无法避免的.如何有效地挖掘交通流量数据的时空特性和数据间的关联成为了提高缺失数据补全精度的关键.传统的统计学方法不能满足日益增长的数据需求,深度学习的应用推动了缺失数据的补全方法...     

结合注意力机制与特征融合的静态手势识别算法

卷积神经网络在手势识别领域应用广泛,但现有的卷积神经网络存在特征表征不足的问题,导致手势识别精度较低。提出一种轻量级静态手势识别算法r-mobilenetv2,通过串联通道注意力与空间注意力,将两者输出的特征图以跳跃连接的形式线性相加,得到一种全新的注意力机制。使用一维卷积调整低层特征的通道维度,将低级特征与经过上采样的高层特征进行空间维度匹配及通道维度匹配,并进行线性相加,其结果经卷积操作后与高层特征按通道维度连接,从而实现特征融合。在此基础上,将所提注意力机制与特征融合相结合,并用于改进后的轻量级网络MobileNetV2中,得到r-mobilenetv2算法。实验结果表明,与MobileNetV2算法相比,r-mobilenetv2算法的参数量降低了27%,错误率下降了1.82个百分点。     

基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于PNN的手势识别

为了实现人体手势姿态识别的目标,选用氯化银(AgCl)贴片电极作为信号传感端,通过采集前臂表面肌电(SEMG)信号,经信号放大、滤波等前期处理,再经活动段检测、降噪等信号处理后,提取伸食指、握拳、伸腕、屈腕4种手势的均方根值和积分EMG值作为特征向量,送入概率神经网络(PNN)中进行训练识别,实现人体手势识别.实验结果表明:PNN对前臂SEMG信号的模式识别的正确率可达到97.62％,将PNN应用于手势识别系统具有可行性.     

融合表面肌电和加速度的手势动作识别

针对复杂动态手势识别问题,提出一种融合表面肌电和加速度传感信息的识别方法,对四路表面肌电与三轴加速度信号进行数据采集,通过预处理提取有效活动段,将一个完整动态手势分割为三个区段:起始段、主特征段和收尾段,提取加速度信号的宏观全局特征,并与主特征段表面肌电信号的复杂度微观细节特征组成特征向量,输入支持向量机完成分类。实验结果显示,该方法对4名受试者执行的6种中国手语手势的最高识别率为 91.2%,证明该方法对复杂动态手势具有较好的可识别性。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于残差注意力机制和金字塔卷积的表情识别

随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用.     

融合通道层注意力机制的多支路卷积网络抑郁症识别

目的 抑郁症是一种常见的情感性精神障碍,会带来诸多情绪和身体问题。在实践中,临床医生主要通过面对面访谈并结合自身经验评估抑郁症的严重程度。这种诊断方式具有较强的主观性,整个过程比较耗时,且易造成误诊、漏诊。为了客观便捷地评估抑郁症的严重程度,本文围绕面部图像研究深度特征提取及其在抑郁症自动识别中的应用,基于人脸图像的全局和局部特征,构建一种融合通道层注意力机制的多支路卷积网络模型,进行抑郁症严重程度的自动识别。方法 首先从原始视频提取图像,使用多任务级联卷积神经网络检测人脸关键点。在对齐后分别裁剪出整幅人脸图像和眼睛、嘴部区域图像,然后将它们分别送入与通道层注意力机制结合的深度卷积神经网络以提取全局特征和局部特征。在训练时,将训练图像进行标准化预处理,并通过翻转、裁剪等操作增强数据。在特征融合层将3个支路网络提取的特征拼接在一起,最后输出抑郁症严重程度的分值。结果 在AVEC2013（The Continuous Audio/Visual Emotion and Depression Recognition Challenge）抑郁症数据库上平均绝对误差为6.74、均方根误差为8.70,相较于Baseline分别降低4.14和4.91;在AVEC2014抑郁症数据库上平均绝对误差和均方根误差分别为6.56和8.56,相较于Baseline分别降低2.30和2.30。同时,相较于其他抑郁症识别方法,本文方法取得了最低的平均绝对误差和均方根误差。结论 本文方法能够以端到端的形式实现抑郁症的自动识别,将特征提取和抑郁症严重程度识别在统一框架下进行和调优,学习到的多种视觉特征更加具有鉴别性,实验结果表明了该算法的有效性和可行性。     

基于多源信息融合的手势智能交互系统

利用表面肌电信号（surface ElectroMyoGraphy， sEMG）设计了一个提高分类准确性和快速性的识别系统，用于捕获手势动作并进行人机交互.首先，基于无线肌电测量系统和飞行器自主搭建了智能交互平台；接着，采用滑动时间窗的方法对原始sEMG信号设计短时能量阈值进行信号活动段始末点的确定，从而抑制了动作刚执行时趋势段对识别结果的影响；然后，利用时域统计分析对sEMG信号进行特征分析，并提出了一种融合加速度特征信息和sEMG信号的方法来建立5种手势的分类模型.与仅使用sEMG信息源的方式相比，此方法提高了识别准确率.最后，手势控制飞行器运动的实验证明了本方法的可行性和有效性.     

基于动态卷积与注意力的多特征融合行人重识别

为能够准确利用图像中有效特征,提取判别性较高的信息区分特征相近的行人,提出一种基于动态卷积和注意力机制的多分支网络。将动态卷积核作用于ResNet50网络中,使动态卷积中的注意力机制与网络中的通道和空间注意力共同作用,通过不同分支得到相应局部特征,融合得到高判别性特征进行分类匹配。在CUHK03、DuckMTMC-reID、Market-1501数据集上进行验证实验,其结果表明了所提模型的优越性。