融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂。该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法。首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构。最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度。实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0%以上,高于现有基于数据谱图的手势分类方法。     

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂.该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法.首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构.最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度.实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0％以上,高于现有基于数据谱图的手势分类方法.     

轻量级(2+1)D卷积结构的动态手势识别研究

目前,基于卷积神经网络的动态手势识别方法取得了巨大的进展,但神经网络模型具有很大的参数量,计算成本和内存占用较大,很难应用在设备资源有限的场合.以减少计算量和参数量为出发点,提出了一种轻量级(2+1)D卷积结构.该结构在(2+1)D卷积结构的基础上,将其中的3D卷积替换为3D深度可分离卷积,在输出向量维度不变的前提下,进一步减少了(2+1)D卷积结构的计算量和参数量.为了弥补时空特征在表征动态手势上的不足,融合注意力机制模块,专注于对运动特征的提取,结合轻量级(2+1)D卷积结构提取的时空特征,可以更好地表征手势动作.实验结果表明,注意力机制模块的插入,在不增加太多额外计算和空间成本的前提下,进一步提高了模型的识别精度.基于以上结构构建的模型,在20BN-jester、EgoGesture和IsoGD数据集上分别取得了96.62%、91.83%和60.1%的识别精度,模型参数量和浮点计算量分别为5.05M和12.81GFLOPs,相比于其他手势识别模型,计算成本和内存占用大大减少,实时手势识别速度达到每秒70帧.     

基于FMCW雷达的多维参数手势识别算法

该文提出一种基于调频连续波(FMCW)雷达多维参数的卷积神经网络手势识别方法。通过对雷达信号进行时频分析,估计手势目标的距离、多普勒和角度参数,构建出手势动作的多维参数数据集。同时,为了进行手势特征提取和精确分类,提出多分支网络结构和高维特征融合的方案,设计出具有端到端结构的RDA-T多维参数卷积神经网络。实验结果表明,结合手势动作的距离、多普勒和角度信息进行多维参数学习,所提方法有效解决了单维参数手势识别方法中手势描述信息量低的问题,且手势识别准确率相较于单参数方法提高了5%～8%。     

基于生成式对抗网络和多模态注意力机制的扩频与常规调制信号识别方法

针对低信噪比条件下的扩频与常规调制信号分类精度低的问题,该文提出一种基于生成式对抗网络(GAN)、卷积神经网络(CNN)和长短期记忆(LSTM)网络的多模态注意力机制信号调制识别方法。首先生成待识别信号的时频图像(TFIs),并利用GAN实现TFIs降噪处理;然后将信号的同相正交数据(I/Q data)与TFIs作为模型输入,并搭建基于CNN的TFIs识别支路和基于LSTM的I/Q数据识别支路;最后,在模型中添加注意力机制,增强I/Q数据和TFIs中重要特征对分类结果的决定作用。实验结果表明,该文所提方法相较于单模态识别模型以及其它基线模型,整体分类精度有效提升2%～7%,并在低信噪比条件下具备更强的特征表达能力和鲁棒性。     

融合密集卷积与空间转换网络的手势识别方法

手势识别作为人机交互的方式之一,在人工智能日益发展的今天备受瞩目。针对手势旋转、平移、缩放等形变导致识别率偏低的问题,该文基于密集卷积网络(Densenet)与空间转换网络(STN)提出了一种新型的网络结构Densenet_V2,先利用空间转换网络对输入的样本和特征图进行空间变换和对齐,再利用密集卷积网络自动提取手势的有效特征,最后通过线性分类器对手势进行分类。为防止网络模型对样本数据集过度拟合,对网络进行训练时在损失函数中加入L2正则项以实现权重衰减。在Marcel手势库上进行多次实验。实验结果表明,Densenet_V2可以提高对静态形变手势的识别率。     

基于改进YOLOv4-tiny算法的手势识别

随着人机交互的发展,手势识别越来越重要。同时,移动端应用发展迅速,将人机交互技术在移动端实现是一个发展趋势。该文提出一种改进YOLOv4-tiny的手势识别算法。首先,在YOLOv4-tiny网络基础上,添加空间金字塔池化(SPP)模块,融合了图像的局部和全局特征,增强网络的准确定位能力。其次,在YOLOv4-tiny原网络的3个最大池化层和新增SPP模块后各添加一个1×1的卷积模块,减少了网络的参数,提高网络的预测速度。在此基础上,利用K-means++算法生成适合检测手势的先验框,加快网络检测手势。在手势数据集NUS-II上,与YOLOv3-tiny算法和YOLOv4-tiny算法进行对比,改进算法平均精度均值(mAP)为100%,每秒传输帧数(fps)为377,可以快速准确地检测识别手势。将该文改进算法部署在安卓(Android)移动端,实现了移动端实时的手势检测与识别,对人机交互的发展有很大的研究意义。     

融合Inception-LSTM级联网络下的动态手势识别

目前基于视觉的动态手势识别问题仍是研究的难点,在大多数应用背景情况下很难提高手势识别率.传统的动态手势识别手段主要是利用智能传感设备以及单个或多个摄像头进行数据采集的视觉方法来实现,效率低,准确度差.近年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特征得到了广泛关注.本文针对传统动态手势...     

Human–robot interaction based on gesture and movement recognition

Human–robot interaction (HRI) has become a research hotspot in computer vision and robotics due to its wide application in human–computer interaction (HCI) domain. Based on the explored algorithms of gesture recognition and limb movement recognition in somatosensory interaction, an HRI model of a robotic arm is proposed for robot arm manipulation. More specifically, 3D SSD architecture is used for the location and identification of gesture and arm movement. Then, DTW template matching algorithm is adopted to trace the dynamic gestures. The interactive scenarios and interactive modes are designed for experiment and implementation. Virtual interactive experimental results have demonstrated the usefulness of our method.     

Research on unified recognition model and algorithm for multi-modal gestures

In gesture recognition,static gestures,dynamic gestures and trajectory gestures are collectively known as multi-modal gestures.To solve the existing problem in different recognition methods for different modal gestures,a unified recognition algorithm is proposed.The angle change data of the finger joints and the movement of the centroid of the hand were acquired respectively by data glove and Kinect.Through the preprocessing of the multi-source heterogeneous data,all hand gestures were considered as curves while solving hand shaking,and a uniform hand gesture recognition algorithm was established to calculate the Pearson correlation coefficient between hand gestures for gesture recognition.In this way,complex gesture recognition was transformed into the problem of a simple comparison of curves similarities.The main innovations:1) Aiming at solving the problem of multi-modal gesture recognition,an unified recognition model and a new algorithm is proposed;2) The Pearson correlation coefficient for the first time to construct the gesture similarity operator is improved.By testing 50 kinds of gestures,the experimental results showed that the method presented could cope with intricate gesture interaction with the 97.7% recognition rate.     

手势语言识别的神经网络方法

提供了一种用于人机交互（HCI）的手势语言可视化识别方法。该方法包括用于几种控制命令的手势的探测、分割、特征提取及识别，第一步的处理都用到了神经网络方法，像肤色探测、主元分析（PCA）以及在编码识别。实验结果显示正确识别率高达94％。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

基于FPGA的课堂交互手势识别系统

手势是一种自然而直观的人际交流模式,基于视觉的手势识别是实现新一代人机交互所不可缺少的关键技术。文中主要围绕手势识别展开,结合了手势识别和幻灯片系统的控制,定义了4种动态手势。通过抓捕手势移动质心,恰好避开了手势复杂多变这一缺点。以FPGA作为主要的运行平台,结合Matlab的仿真,最终实现方便快捷的课堂交互的手势识别系统。