复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于加速度传感器的可扩展手势识别

为了提高基于加速度传感器的动态手势识别算法的性能,并且增强系统的可扩展性,提出了一种有效结合机器学习模型与模板匹配的方法.将手势分为基本手势和复杂手势两大类,其中复杂手势可分割为基本手势组成的序列;根据手势运动的特点提取有效的特征量,并利用基本手势样本训练随机森林模型,然后用其对基本手势序列进行分类预测;将预测结果进行约翰逊编码,再与标准模板序列进行相似度匹配.实验结果表明,该方法获得了99.75%的基本手势识别率以及100%的复杂手势识别率.算法既保证了手势识别的精度,也提高了系统的可扩展性.     

基于DSP的穿戴式动作传感器的手势识别

针对基于加速度传感器的手势识别算法实时性的需求以及识别算法性能的问题,提出了一种集加速度、地磁信号于一体的6轴AMI602动作传感器的手势识别系统:在硬件方面,运用无线方式进行传感器数据的采集,用DSP(TMS320F2812)强大的处理能力实现手势识别算法,增强了其系统识别的实时性;在算法方面,将提取的加速度特征值做动作姿态投影,得到新的加速度特征值,运用动态时间规整(DTW)算法进行模板匹配,提高了动作识别算法的性能.经过在DSP系统上实机验证,该方法在识别率和延时上都较以往方法有显著的提高.     

基于圆弧扫描线的手势特征提取和实时手势识别

基于手势的人机交互是当前备受关注的自然人机交互模式之一,实时手势识别是其中最重要的步骤。本文提出了一种基于圆弧扫描线的手势特征提取和实时手势识别方法。首先,基于一种抽象描述手掌和五指关系的简洁人手海龟模型,结合肤色特征和腕部标记分割出人手部图像,并进行二值化处理 和统一尺寸来建立手势训练集。 然后,以手掌中心为圆心构造同心圆来提取训练集中不同手势样本的特征,并使用线性判别分析(Linear discriminant analysis,LDA)算法对手势特征向量进行离线预处理。最后,使用 改进的加权K近邻（Weighted-K-nearest neighbor,W-KNN）算法进行实时手势分类和识别。为了验证本文方法的有效性 ,在自建小型手势数据库上进行了算法分析和比较,并在多投影系统下进行实时交互测试。实验 结果表明本文算法具有较高的识别效率。     

基于动态时间规整的手势加速度信号识别

为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法。通过该算法计算测试模板和参考模板的相似度,从而得出识别结果。为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息。实验结果表明,该方法手势平均识别率在97%以上。与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别算法更具优势。     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

基于表面肌电图像的灵巧假手控制系统

设计了一种通过佩戴阵列型表面肌电传感器,实时识别受试者的8种手势,并控制一个自主研发的六自由度灵巧操作假手进行同步动作的人–机协同控制系统.控制假手的手势识别策略基于神经网络算法,受试者仅需在首次训练阶段重复完成预先设定的8种手势动作(分别为放松、手腕外翻、手腕内翻、握拳、伸掌、手势2、手势3和竖大拇指),之后该系统即能够实时识别受试者随机完成8种手势中的任意一种手势.本文提出的网络参数随机搜索算法和梯度下降算法,与目前同规模的神经网络相比提高了网络的训练速度和手势预测精度;该手势识别算法使用Tensorflow机器学习框架学习权值并进行了可视化分析;采用经过优化的手势训练方式既缩短了受试者的手势训练时间,同时提高了手势训练的熟练度.本文对一名肌肉无损伤的受试者进行表面肌电信号采集、训练和预测,对8种手势的综合预测精度达到97%,且再次佩戴时不再需要进行训练.受试者实际控制假手时,使用投票算法对实时手势预测结果进行深度优化,最终假手的动作同步率到达99%.     

基于加速度传感器的大手势集手势识别算法改进研究

搭载着加速度传感器的智能移动终端为手势识别提供广泛的应用平台,在已有的基于单枚加速度传感器的手势识别研究中,识别正确率、速度和手势集合难以达到良好的平衡。本文以一种基于加速度符号序列的识别算法为基础,改进了其特征提取方法,并设计了基于加权树结构模板库的匹配方法,实现了大手势集、高正确率、速度快的手势识别。实验表明,所述系统在21个手势组成的手势集合上,实现了95.2%的用户依赖识别率和94.6%的用户非依赖识别率,识别时间小于10毫秒,对手势识别研究有一定的借鉴价值。     

实时手势加速度动作分割与识别研究

实时手势动作分割与识别是基于惯性传感器手势交互的重要研究内容.采用佩戴在手腕的单个加速度传感器获取手势加速度信号,提出一种实时手势加速度动作分割和识别方案.首先采用基于阈值的动作分割算法实时切分连续手势,通过聚类算法提取手势动作的关键特征,然后构造离散隐马尔可夫模型实现手势识别.实验结果表明,本文采用的手势动作切分算法能自动提取有效手势信号,关键特征选择不仅降低了隐马尔可夫模型的复杂度,而且提高了识别率.     

基于ZigBee和加速度传感器的手势识别研究

随着人机交互手段的进步,手势识别得到了蓬勃的发展。基于微传感器的手势采集系统由于不受空间的约束逐渐得到重视,但该类型设备计算复杂度高、数据量大并且准确性不高。针对这一问题文中提出了一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器,将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法,对0～9十个手势进行判断,在20位实验者中得到了98%以上的识别率,同时由于其使用了ZigBee网络,系统移植性也得到了进一步加强,对后续手势识别研究有一定的参考价值。     

基于加速度轨迹图像的手势特征提取与识别

针对手势加速度识别中存在数据维度高、计算量大等问题,提出一种基于加速度轨迹图像的手势NMF特征提取与识别方法。通过Wiimote手柄获取手势动作的加速度信号,经过实时有效手势动作分割后,将加速度数据转换为手势轨迹图像,并用非负矩阵分解对手势加速度轨迹图像提取特征向量,最后构建离散隐马尔科夫模型实现目标手势识别。加速度手势轨迹图像转换及采用非负矩阵分解的特征提取方法将未知手势轨迹特征转换为低维子特征序列,降低了计算复杂度,实验表明,该方法能有效识别手势动作。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于Leap Motion的动态手势识别方法

伴随虚拟现实（Virtual Reality,VR）技术的发展,以及人们对人机交互性能和体验感的要求提高,手势识别作为影响虚拟现实中交互操作的重要技术之一,其精确度急需提升^[1].针对当前手势识别方法在一些动作类似的手势识别中表现欠佳的问题,提出了一种多特征动态手势识别方法.该方法首先使用体感控制器Leap Motion追踪动态手势获取数据,然后在特征提取过程中增加对位移向量角度和拐点判定计数的提取,接着进行动态手势隐马尔科夫模型（Hidden Markov Model,HMM）的训练,最后根据待测手势与模型的匹配率进行识别.从实验结果中得出,该多特征识别方法能够提升相似手势的识别率.     

Feature fusion for 3D hand gesture recognition by learning a shared hidden space

Hand gesture recognition has been intensively applied in various human-computer interaction (HCI) systems. Different hand gesture recognition methods were developed based on particular features, e.g., gesture trajectories and acceleration signals. However, it has been noticed that the limitation of either features can lead to flaws of a HCI system. In this paper, to overcome the limitations but combine the merits of both features, we propose a novel feature fusion approach for 3D hand gesture recognition. In our approach, gesture trajectories are represented by the intersection numbers with randomly generated line segments on their 2D principal planes, acceleration signals are represented by the coefficients of discrete cosine transformation (DCT). Then, a hidden space shared by the two features is learned by using penalized maximum likelihood estimation (MLE). An iterative algorithm, composed of two steps per iteration, is derived to for this penalized MLE, in which the first step is to solve a standard least square problem and the second step is to solve a Sylvester equation. We tested our hand gesture recognition approach on different hand gesture sets. Results confirm the effectiveness of the feature fusion method.     

基于FPGA的实时手势识别系统

本文构建了一个基于FPGA的实时手势识别平台,并在该平台上实现了一种基于表面肌电(sEMG)信号和加速度(ACC)信号的手势识别算法。具体实现过程中,无线sEMG传感器和无线三轴ACC传感器穿戴于两手前臂实时获取sEMG信号和ACC信号,并以无线方式发送到数据处理模块。数据处理模块充分利用FPGA的并行处理优势,融合ACC和sEMG信息特征,实现了单双手手势的实时识别。经测试,本文所用的手势识别算法移植到FPGA中以后,识别速度明显提高,16个中国手语手势动作达到了95%以上的识别率。     

基于HMM方法的动态手势识别技术的改进

为了提高基于HMM方法的动态手势识别的效率和准确性,针对HMM方法在训练手势中计算的高复杂性,提出了一种HMM算法和动态规划的算法相结合的方法,对HMM算法中的训练阶段进行了改进,增强了人机交互的准确性与实时性。     

基于3D卷积神经网络的动态手势识别模型

在不带有标志帧的手势视频上进行动态手势识别,容易导致识别准确率下降。提出一种具有分级网络结构的动态手势识别模型。以手势检测模型为第1级网络,手势分类模型为第2级网络,分步完成识别任务。同时,将三维卷积核拆分为时间域和空间域卷积分阶段完成任务,解决三维卷积神经网络中因参数过多造成模型训练或运行时间过长的问题。实验结果表明,在保证实时性的前提下,该模型在EgoGesture数据集上的识别准确率高达93.35%,优于C3D、ResNeXt101、MTUT等模型。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.