可分离长短期注意力网络的手势识别方法

在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。     

基于双重注意力和3DResNet-BiLSTM行为识别方法

针对利用视频数据进行行为识别容易受到多种动态杂乱背景信息的影响,存在时空特征提取较为困难的问题,提出一种基于双重注意力和3DResNet-BiLSTM混合模型的行为识别方法。利用通道加权融合的方式构建卷积注意力模块并嵌入3DResNet,用于提取原始视频数据中的时空特征,同时对重要特征进行加权和重定义,结合BiLSTM和时间注意力进一步深入提取时序特征,得到自适应特征实现行为识别。利用UCF101和HMDB51公开数据集进行实验,验证了该模型的有效性。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆（CLSTM）单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比（PSNR）分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性（SSIM）分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络（GAN）判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。     

融合注意力机制改进残差网络的表情识别方法

为提高大数据挖掘过程中表情识别的计算速度和准确率,在ResNet-50模型的基础上,融合通道注意力机制与改进残差网络,提出一种表情识别方法的改进模型(SE-ResNet-50+Swish)。改进模型在ResNet-50的基础上,引入多个带有通道注意力模块SE的特征层对表情样本进行特征提取,利用注意力机制增强关键的特征通道,增强网络的特征表达与鲁棒性,且能够有效减少计算量,并利用激活函数Swish替代ReLU激活函数,以达到进一步提升表情识别准确率的目的。在CAS-PEAL-R1数据库上进行验证的结果表明,SE-ResNet-50在ResNet-50的基础上引入SE模块之后,虽然增加了网络层数,但计算速度以及表情识别的准确率有明显提高;改进模型利用Swish替代ReLU后,相比于SE-ResNet-50的参数数量与计算量等无显著增多,但表情识别准确率有提升;以上结果表明,改进模型能够有效减少计算量,并增强网络的特征表达与鲁棒性,从而达到提升表情识别计算速度与识别准确率的目的。     

注意力机制融合深度神经网络的室内场景识别方法

针对现有室内场景识别方法仅通过关注视觉信息本身,而缺乏考虑图像中所含语义内容,提出一种基于长短期记忆神经网络和卷积神经网络的融合深度神经网络室内场景识别方法.首先使用labelImg工具为Visual Genome数据集图像生成位置描述符,经数据预处理算法处理后通过GloVe模型得到词向量.然后引入带有L2正则化的小批...     

融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.     

基于膨胀卷积迭代与注意力机制的实体名识别方法

针对传统实体名识别方法无法兼顾文本序列提取特征的有效性和神经网络模型训练速度的问题,提出一种基于迭代膨胀卷积神经网络(IDCNN)与注意力机制(ATT)的实体名识别方法。IDCNN可利用GPU并行计算的优化能力,保留长短期记忆神经网络的特性,即用简单的结构记录尽可能多的输入信息,并在准确提取文本序列特征的同时加快神经网络模型的训练速度。通过引入ATT运用文本语法信息和单词词性信息,从众多文本特征中选择对实体名识别更关键的特征,从而提高文本特征提取的准确性。在新闻数据集和微博数据集上的实验结果表明,神经网络模型的训练速度比传统的双向长短期记忆神经网络有显著提升,基于注意力的实体名识别方法的评价指标比传统的无注意力机制方法提高2%左右。     

融入注意力的残差网络表情识别方法

针对现有的卷积神经网络模型算法对人脸表情特征表达能力不足、识别精度不高、模型参数量大的问题,提出一种融入注意力的残差网络人脸表情识别方法。该方法在特征提取部分利用卷积块注意力模块(Convolutional Block Attention Module, CBAM)增强对判别性特征的表示;通过残差结构的卷积层提取表情特征;利用Softmax进行表情分类。实验结果表明,与原ResNet模型方法相比,以较小参数量的增加取得更好的识别效果,在FER2013、JAFFE和CK+数据集上的识别率分别提升了2.68百分点、6.40百分点和6.06百分点,与其他相关方法的对比也证明了其有效性。     

融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

基于可分离卷积和注意力机制的晶圆缺陷检测

为对半导体晶圆的表面缺陷进行快速检测,提出一种基于深度可分离卷积和注意力机制的轻量级网络,并在WM-811K数据集上进行了实验.为解决该数据集中9种不同类别的缺陷比例相对不平衡问题,采用了数据增强方法对较少数据的缺陷类别进行数据扩充.本文模型中的深度可分离卷积可以降低模型的参数量,提高模型的推理速度;注意力机制可以使模型更加关注晶圆图像中有缺陷的区域,使模型达到更好的分类效果.实验表明,所提方法在WM-811K数据集上的平均准确率高达96.5%,相对于ANN、VGG16、MobileNetv2等方法均有不同程度的提高,并且参数量和运算量只是经典轻量级网络MobileNetv2的73.5%和28.6%.     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于多头注意力机制的房颤检测方法

近年来,随着人工智能的发展,深度学习模型已在ECG数据分析(尤其是房颤的检测)中得到广泛应用.本文提出了一种基于多头注意力机制的算法来实现房颤的分类,并通过PhysioNet 2017年挑战赛的公开数据集对其进行训练和验证.该算法首先采用深度残差网络提取心电信号的局部特征,随后采用双向长短期记忆网络在此基础上提取全局特...     

融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

基于神经网络空时特征提取的动态手势识别

针对现有的动态手势识别3D卷积方法计算参数量大和对2D卷积长时间序列的空时特征难以提取的问题,提出一种基于2D卷积神经网络和长短期记忆网络相结合的提取时空域特征的动态手势识别方法.首先基于2D卷积神经网络提取空域特征,再通过长短期记忆网络进行序列图像时序上的相互关联提取时间维度上的信息.为验证算法的有效性,使用自采集的...