基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。     

基于多通道调频连续波毫米波雷达的微动手势识别

该文提出一种基于多通道调频连续波(FMCW)毫米波雷达的微动手势识别方法,并给出一种微动手势特征提取的最优雷达参数设计准则。通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱。设计固定帧时间长度拼接的距离-多普勒-时间图特征,与距离-时间特征、多普勒-时间特征、水平方向角度-时间图特征和三者联合特征等,分别对7类微动手势进行表征。根据手势运动过程振幅和速度差异,进行手势特征捕获和对齐。利用仅有5层的轻量化卷积神经网络对微动手势特征进行分类。实验结果表明,相较其他特征,设计的距离-多普勒-时间图特征能够更为准确地表征微动手势,且对未经训练的测试对象具有更好的泛化能力。

     

基于双通道ＣＮＮ的ＦＭＣＷ雷达手势识别方法

为了提高对手势动作的分类能力,该文提出一种基于双通道卷积神经网络(CNN)的调频连续波（FMCW）雷达手势识别方法。首先利用具有一个发射天线两个接收天线的FMCW雷达对不同手势动作进行探测并收集到回波数据,之后对每个接收通道的回波数据进行预处理分别得到距离时间图、距离多普勒图与微多普勒时频谱图,然后将每个动作对应的三种彩色RGB图像进行堆叠。最后将堆叠后的彩色RGB图像输入到双通道CNN中进行手势特征提取和特征融合。实测数据处理结果表明所提基于双通道CNN手势识别方法对设计的八种手势动作的分类平均正确率为97.52%,与传统的单通道CNN相比有效地提高了对手势动作的分类能力。     

基于FMCW雷达的双流融合神经网络手势识别方法

针对传统光学摄像头和无线技术的手势识别方法受光照环境影响和空间纵向、横向特征不全的问题,该文提出一种基于调频连续波（Frequency Modulated Continuous Wave,FMCW）雷达信号的双流融合神经网络（Two-Stream Fusion Neural Network,TS-FNN）手势识别方法.首先,利用二维快速傅立叶变换（Fast Fourier Transform,FFT）求取中频信号的频谱,估计手势的距离和速度,并利用多重信号分类（Multiple Signal Classification,MUSIC）方法计算角度.其次,利用这三维参数在时间上的累积,将一个手势动作映射为32帧距离-速度矩阵图和角度时间图.最后,建立TS-FNN进行手势特征提取和特征融合.实验结果表明,TS-FNN方法与传统卷积神经网络相比,手势的平均识别准确率提升了约5%.     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂。该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法。首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构。最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度。实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0%以上,高于现有基于数据谱图的手势分类方法。     

基于UKF的毫米波雷达手势识别算法研究

本文提出了一种基于无迹卡尔曼滤波（UKF）的毫米波雷达干扰抑制的手势识别方法。首先根据原始雷达信号设置的采样点与线性调频信号数量，估计了目标的距离与多普勒参数。之后针对实际场景中类目标干扰较多的情况，设计了一套完整的基于UKF的场景类目标抑制方法，接着利用卷积神经网络（CNN）对不同手势距离?多普勒特征谱图进行提取和识别。实验结果表明，该抑制方法有效地解决了类目标干扰给手势识别带来的困扰，手势识别的平均准确率为98.74%，经过抑制干扰算法后准确率相较于干扰抑制之前提升了7.29%。     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂.该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法.首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构.最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度.实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0％以上,高于现有基于数据谱图的手势分类方法.     

基于RDATM数据集的毫米波雷达动态手势识别系统设计

针对现有毫米波雷达手势识别研究中手势信息提取不充分的问题,提出一种基于RDATM三维参数数据集的手势识别方法。该方法先对获取的雷达手势回波数据进行预处理并进行动态手势检测,然后利用回波信号频谱信息构造距离-时间图(Range-Time Map, RTM),多普勒-时间图(Doppler-Time Map, DTM)和角度-时间图(Angle-Time Map, ATM),最后利用RTM、DTM、ATM构建RDATM数据集并送入基于VGG16网络改进的单分支卷积神经网络进行手势特征提取和分类。实验结果表明,利用RDATM数据集对6种手势的平均分类准确率可高达99.17%。且文中改进的网络相较于原VGG16模型对同类型数据集训练时间更短、分类准确率更高。     

基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。     

基于双分类器的自适应单双手手势识别

针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别.该算法的核心是联合两个分类器进行单双手手势识别.首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识...     

基于调频连续波雷达的多维信息特征融合人体姿势识别方法

为实现在复杂多样的环境下人体姿势的识别,该文提出一种基于调频连续波(FMCW)雷达的多维信息特征融合的人体姿势识别方法。该方法通过对FMCW雷达原始信号进行3维快速傅里叶变换得到目标距离、速度和角度的多维信息,在采用具有噪声的基于密度的聚类算法(DBSCAN)和 Hampel滤波算法解决运动范围内动态或静态目标的噪声干扰后使用卷积神经网络对多维信息进行特征提取,然后利用低秩多模态融合网络(LMF)充分融合多维信息的特征,并通过域鉴别器进一步获得与环境无关的特征,最终使用活动识别器获得姿势识别结果。为了实用性,在边缘计算平台上搭载预先设计的算法和训练好的网络模型进行实验验证。实验结果表明,在复杂的环境下该方法的识别精度可达到91.5%。     

A two stream convolutional neural network with bi-directional GRU model to classify dynamic hand gesture

Dynamic hand gesture recognition is still an interesting topic for the computer vision community. A set of feature vectors can represent any hand gesture. A Recurrent Neural Network (RNN) can recognize these feature vectors as a hand gesture that analyzes the temporal and contextual information of the gesture sequence. Thus, we proposed a hybrid deep learning framework to recognize dynamic hand gestures. In the Hybrid model GoogleNet is pipelined with a Bidirectional GRU unit to recognize the dynamic hand gesture. Dynamic hand gestures consist of many frames, and features of each frame need to be extracted to get the temporal and dynamic information of the performed gesture. As RNN takes input as a sequence of feature vectors, we extract features from videos using pretrained GoogleNet. As Gated Recurrent Unit is one of the variants of RNN to classify the sequential data, we created a feature vector that corresponds to each video and passed it to the bidirectional GRU (BGRU) network to classify the gestures. We evaluate our model on four publicly available hand gesture datasets. The proposed method performs well and is comparable with the existing methods. For instance, we achieved 98.6% accuracy on Northwestern University Hand Gesture(NWUHG), 99.6% on SKIG, 99.4% on Cambridge Hand Gesture (CHG) datasets respectively. We performed our experiments on DHG14/28 dataset and achieved an accuracy of 97.8% with 14-gesture classes and 92.1% on 28-gesture classes. DHG14/28 dataset contains skeleton and depth data, and our proposed model used depth data and achieved comparable accuracy.     

Research on unified recognition model and algorithm for multi-modal gestures

In gesture recognition,static gestures,dynamic gestures and trajectory gestures are collectively known as multi-modal gestures.To solve the existing problem in different recognition methods for different modal gestures,a unified recognition algorithm is proposed.The angle change data of the finger joints and the movement of the centroid of the hand were acquired respectively by data glove and Kinect.Through the preprocessing of the multi-source heterogeneous data,all hand gestures were considered as curves while solving hand shaking,and a uniform hand gesture recognition algorithm was established to calculate the Pearson correlation coefficient between hand gestures for gesture recognition.In this way,complex gesture recognition was transformed into the problem of a simple comparison of curves similarities.The main innovations:1) Aiming at solving the problem of multi-modal gesture recognition,an unified recognition model and a new algorithm is proposed;2) The Pearson correlation coefficient for the first time to construct the gesture similarity operator is improved.By testing 50 kinds of gestures,the experimental results showed that the method presented could cope with intricate gesture interaction with the 97.7% recognition rate.     

多尺度时空特征融合的动态手势识别网络

由于动态手势数据具有时间复杂性以及空间复杂性,传统的机器学习算法难以提取准确的手势特征;现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题,该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度时空特征融合网络。首先,将图片分类领域的CvT网络引入动态手势分类领域,用于提取单张手势图片的空间特征,将不同空间尺度的浅层特征与深层特征融合。其次,设计一种多时间尺度聚合模块,提取动态手势的时空特征,将CvT网络与多时间尺度聚合模块结合,抑制无效特征。最后为了弥补CvT网络中dropout层的不足,将R-Drop模型应用于多尺度时空特征融合网络。在Jester数据集上进行实验验证,与多种基于深度学习的动态手势识别方法进行对比,实验结果表明,该文方法在识别率上优于现有动态手势识别方法,在动态手势数据集Jester上识别率达到92.26%。