基于“面部表情+手”的混合手势交互技术

为克服单一输入形式存在的交互缺点,融合手部移动和面部表情两种输入方式的交互特性,将手部移动和面部表情动作相结合,提出了基于“面部表情+手”的混合手势交互技术。混合手势交互技术将7种面部表情和手部移动组合起来,通过手部移动和面部表情识别操控计算机执行一系列目标选择任务。设计的实验中,手部移动用于操控鼠标光标移动,面部表情识别替代鼠标的点击操作用于选中目标按钮。根据设计的多种目标选择任务,详细分析混合手势交互技术的识别错误率和平均识别时间。结果表明,“面部表情+手”的混合手势交互技术的识别准确率可达93.81%,平均识别时间可达2921 ms,完全满足日常的人机交互需求。     

基于计算机视觉技术的手势识别步骤与方法研究

计算机视觉技术在现代社会中获得了非常广泛的应用,加强对手势识别技术的研究有助于促进社会智能化的快速发展。目前,手势识别技术的实现需要完成图形预处理、手势检测以及场景划分以及手势识别3个步骤。此外,手势特征可以分为动态手势以及静态手势,在选用手势识别方法时要明确两者之间的区别,通常情况下选用的主要手势识别技术有运用模板匹配的方法、运用SVM的动态手势识别方法以及运用DTW的动态手势识别方法等。文章对此展开研究。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

A two-electrode frequency-scan system for gesture recognition

In this paper, we proposed a novel two-electrode, frequency-scan gesture recognition system based on bio-impedance measurement. This method not only achieves a high accuracy in recognizing common gestures and pinch gestures, but also reduces the measurement complexity and the number of electrodes. We developed a bespoke circuit with two medical electrodes to collect data from the back of the hand and presented a frequency-scan method to increase the diversity of impedance data. Feature extraction method was adapted to explore the representative features for gesture recognition, and machine learning classification models with five-fold cross-validation were used to train and realize accurate gesture recognition. To verify the effectiveness of this system, we designed two groups of nine gestures in a hand-gesture recognition experiment. The results showed that the system achieved a recognition accuracy of 98.3% with a group of four common gestures and an accuracy of 98.5% with a group of six pinch gestures. The proposed method realized a higher accuracy in pinch gesture set while using fewer electrodes. Additionally, we designed two real-time proof-of-concept interactive scenarios to demonstrate the general applications of this system.     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

Visual gesture recognition

Presents a method for recognising human-hand gestures using a model based approach. A finite state machine is used to model four qualitatively distinct phases of a generic gesture. Fingertips are tracked in multiple frames to compute motion trajectories. The trajectories are then used for finding the start and stop position of the gesture. Gestures are represented as a list of vectors and are then matched to stored gesture vector models using table lookup based on vector displacements. Results are presented showing recognition of seven gestures using images sampled at 4 Hz on a SPARC-1 without any special hardware. The seven gestures are representatives for actions of left, right, up, down, grab, rotate, and stop     

手势识别研究发展现状综述

随着人机交互及计算机视觉的发展,手势识别的研究也取得了较大发展。文中就手势识别研究发展现状展开综述。首先概括了手势识别的发展过程以及国内外研究现状。随后根据手势识别的一般流程介绍了几种常用的技术方法。对其进行了展望并做出了总结。     

基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

基于多目标Camshift手势识别

基于单目视觉下的手势识别技术一般由手势建模、特征提取、手势匹配等几个关键技术构成。手势跟踪算法目前主流的是粒子滤波算法和Camshift算法。系统采用Camshift算法,将人手图像由RGB空间转换到HSV空间后,在HSV空间利用半自动预定义模板颜色对人手进行分割,并对其进行改进实现多目标跟踪,由于Camshift算法为半自动算法,在对手势进行跟踪前需对手势进行手动标定,系统采用了手势跟踪与手势识别技术结合的方法,改进了Camshift算法,解决了Camshift的半自动问题和实现多目标跟踪,实现双手的手势识别。     

基于多特征融合与支持向量机的手势识别

针对手势识别中人的手部特征描述易受到环境因素影响,手势识别率低等问题,并考虑到单个特征的局限性,提出了一种基于Hu矩和HOG特征融合的支持向量机手势识别新方法。该方法首先对处理后的手势图像提取局部的HOG特征,然后针对手势的轮廓提取全局Hu矩特征,再将两种特征融合成混合特征,并通过主成分分析法对混合特征进行降维形成最终分类特征,并将新特征输入到支持向量机中进行识别。实验表明,该方法具有较好的鲁棒性和较高的识别率。     

融合Inception-LSTM级联网络下的动态手势识别

目前基于视觉的动态手势识别问题仍是研究的难点,在大多数应用背景情况下很难提高手势识别率.传统的动态手势识别手段主要是利用智能传感设备以及单个或多个摄像头进行数据采集的视觉方法来实现,效率低,准确度差.近年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特征得到了广泛关注.本文针对传统动态手势...     

基于双分类器的自适应单双手手势识别

针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别.该算法的核心是联合两个分类器进行单双手手势识别.首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识...     

基于方向直方图矢量的手势识别

本文介绍了一种用于手势识别的新方法——图像的局部方向直方图矢量（OHV），利用图像的OHV作为手势的特征向量来进行手势的分类和识别。该方法时于光线和手势平移变化不敏感，具有较强的鲁棒性。在进行特征矢量匹配时，本文使用欧氏距离作为矢量闻匹配程度的度量算法。实验结果表明谊方法具有很高的识别率，并且简单，快速，可以用于实时的手势识别系统中。     

Research on unified recognition model and algorithm for multi-modal gestures

In gesture recognition,static gestures,dynamic gestures and trajectory gestures are collectively known as multi-modal gestures.To solve the existing problem in different recognition methods for different modal gestures,a unified recognition algorithm is proposed.The angle change data of the finger joints and the movement of the centroid of the hand were acquired respectively by data glove and Kinect.Through the preprocessing of the multi-source heterogeneous data,all hand gestures were considered as curves while solving hand shaking,and a uniform hand gesture recognition algorithm was established to calculate the Pearson correlation coefficient between hand gestures for gesture recognition.In this way,complex gesture recognition was transformed into the problem of a simple comparison of curves similarities.The main innovations:1) Aiming at solving the problem of multi-modal gesture recognition,an unified recognition model and a new algorithm is proposed;2) The Pearson correlation coefficient for the first time to construct the gesture similarity operator is improved.By testing 50 kinds of gestures,the experimental results showed that the method presented could cope with intricate gesture interaction with the 97.7% recognition rate.     

基于Kinect传感器的家电手势控制应用研究

为提高智能家电的人机交互性,研究实现了一种基于Kinect传感器的手势识别系统,用户通过该系统可手势控制电视的多种操作功能。对常见的三种动态手势识别算法进行分析对比后,结合应用需求,重点研究了动态手势识别DTW算法。基于Kinect for windows SDK获取的手势深度图像和骨骼图像数据,采用DTW算法进行识别,最后给出了程序实现。实验表明,该方法可实现多种电视控制功能,而且具有较好的实时性和准确性。     

基于数据增强算法和CNN-LSTM的高精确度手势识别

近年来,基于雷达的手势识别技术在工业和生活中得到了广泛应用,但愈加复杂的应用场景对手势识别算法的准确率和鲁棒性提出了更高要求。对此,设计了一种基于毫米波雷达的高精确度手势识别算法。通过对已有分类算法的研究对比,构建了一种用于手势识别的卷积神经网络-长短期记忆网络(CNN-LSTM)深度学习算法模型;同时,运用布莱克曼窗抑制手势信号处理中的频谱泄露问题,并联合运用小波阈值和动态补零算法实现高效杂波抑制和数据增强。实测结果表明,设计的手势识别算法正确分类率达到97.29%,在不同的距离和角度情况下也可以保持较好的识别准确率,具有良好的鲁棒性。     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

基于支持向量机数据分析红外手势识别方法研究

该文提出了利用支持向量机结合仿生六点手势模型优化红外体感控制设备手势识别的方法。采集空间手势信息,仿生六点手势模型提取手势特征向量,利用支持向量机分类及校对数据,引用核函数将低维空间不可分信息映射至高维空间实现线性可分。结果表明,运用基于支持向量机的红外体感设备手势方法能有效识别手势,减轻计算机通信的传输负荷。     

Stratified gesture recognition using the normalized longest common subsequence with rough sets

In this paper, we propose a stratified gesture recognition method that integrates rough set theory with the longest common subsequence method to classify free-air gestures, for natural human–computer interaction. Gesture vocabularies are often composed of gestures that are highly correlated or comprise gestures that are a proper part of others. This reduces the accuracy of most classifiers if no further actions are taken. In this paper, gestures are encoded in orientation segments which facilitate their analysis and reduce the processing time. To improve the accuracy of gesture recognition on ambiguous gestures, we generate rough set decision tables conditioned on the longest common subsequences; the decision tables store discriminative information on ambiguous gestures. We efficiently perform stratified gesture recognition in two steps: first a gesture is classified in its equivalence class, under a predefined rough set indiscernibility, and then it is recognized using the normalized longest common subsequence paired with rough set decision tables. Experimental results show an improvement of the recognition rate of the longest common subsequence; on preisolated gestures, we achieve an improvement of 6.06% and 15.09%, and on stream gestures 19.79% and 28.4% on digit and alphabet gesture vocabularies, respectively.     

动与静目标双重检测的手势检测方案及硬件设计

基于超声波的手势识别系统中引入手势检测方案一方面可以在无手势的时候不执行高复杂度的识别运算，有效地降低功耗；另一方面还可以分割出有效时间片段，提高手势识别的精度。为提升手势识别系统的性能，提出了一种手势检测方案并且以硬件实现了相应功能。采用动目标与静目标双重检测以及杂波图技术，提供手势识别系统在低功耗的检测模式以及高精度运算的识别模式间切换的条件，实现对环境静态杂波的跟踪和滤除，同时解决了传统单纯动目标检测在连续手势操作时存在的漏检问题。本方案由检测模式向识别模式切换的漏警率为0,识别模式向检测模式切换的虚警率为2%,模式切换的响应时间为733.47 ns。