可分离长短期注意力网络的手势识别方法

在人机交互领域中，大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时，对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题，提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先，利用常规3D卷积操作对输入的视频帧进行特征的初步提取，通过较大的卷积核尺寸以扩大其感受野；然后，通过可分离卷积残差操作对输入的浅层特征进行特征的再提取，实现对高维特征的提取建模；最后，将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中，对输入的视频数据的时序信息进行建模，并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明，所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。