基于圆弧扫描线的手势特征提取和实时手势识别

基于手势的人机交互是当前备受关注的自然人机交互模式之一,实时手势识别是其中最重要的步骤。本文提出了一种基于圆弧扫描线的手势特征提取和实时手势识别方法。首先,基于一种抽象描述手掌和五指关系的简洁人手海龟模型,结合肤色特征和腕部标记分割出人手部图像,并进行二值化处理 和统一尺寸来建立手势训练集。 然后,以手掌中心为圆心构造同心圆来提取训练集中不同手势样本的特征,并使用线性判别分析(Linear discriminant analysis,LDA)算法对手势特征向量进行离线预处理。最后,使用 改进的加权K近邻（Weighted-K-nearest neighbor,W-KNN）算法进行实时手势分类和识别。为了验证本文方法的有效性 ,在自建小型手势数据库上进行了算法分析和比较,并在多投影系统下进行实时交互测试。实验 结果表明本文算法具有较高的识别效率。     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

基于特征包支持向量机的手势识别

针对类肤色信息或复杂背景的影响,难以通过手势分割得到精确手势轮廓而对后期手势识别率与实时交互的影响,提出了一种基于特征包支持向量机(BOF-SVM)的手势识别方法。采用SIFT算法提取手势图像局部不变性特征点,将手势局部特征向量(尺度不变特征变换(SIFT)描述子)进行K-means聚类生成视觉码书,并通过视觉码书量化每一幅手势图像的视觉码字集合,以此获得手势图像的固定维数的表征向量来训练支持向量机(SVM)多类分类器。该方法只需框定手势所在区域,无需精确地分割人手。实验表明,该方法对9种交互手势的平均识别率达到92.1%,并具有很好的鲁棒性及实时性,能适应环境的变化。     

高阶NMI值的字母手势识别

提出了基于手势伸展方向以及手势图像高阶NMI值的特征向量进行识别分类的算法。首先，对采集到的手势图像进行预处理与二值化，然后按手势的伸展方向进行粗分类，之后，对每幅图像提取图像的1阶和4阶NMI值，这样将一幅图像表示成一个有17维分量的特征向量。识别时用k近邻原则进行判别，识别率达到86．6％。     

机器人视觉交流中的手势识别仿真

手势识别问题,是人与机器人交互中的关键部分。机器人视觉交流中的手势识别,对动作的准确跟踪是识别的难点,主要因为,人在做动作时,与机器人的反应之间存在较为明显的滞后性,对动作的跟踪很难及时准确,造成对整体的图像跟踪存在滞后性,导致传统的分析手势识别方法无法面向快速变化的群体手势特征,也无法进行准确的识别,提出了一种基于手部肤色特征的CAMSHIFT手势识别算法,通过色度直方图模型划分手部皮肤像素和非皮肤像素,获取手部肤色模型,采用摇动检测方法定位人手,依据手部肤色模型对所获取的手部区域进行分割,得到手部区域的二值图,使用改进的CAMSHIFT算法对手势进行跟踪,通过模式识别的方法对群体人手特征进行识别。实验结果说明,所提方法针对群体中的手势进行准确的识别,识别率高于93%,具有较高的应用价值。     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

一种基于模糊集合论的手势分割算法

提出了一种基于单目的复杂环境下强抗干扰性的手势分割算法,使用模糊集合的概念来描述视频流时域和空域上的不同信息,以模糊运算作为信息加工处理的工具。定义了三个模糊集合非背景集、肤色集和模糊手势集,讨论了对模糊集合的腐蚀和膨胀运算。通过对非背景集和肤色集进行模糊运算,得到原始的模糊手势集,然后对原始的模糊手势集进行求精处理。试验结果证明,该文算法实现了对人手的精确分割,且能满足实时性要求。     

基于手势识别算法的鼠标终端

提出了一种基于静态手势与动态手势的识别算法,并结合Windows API的鼠标类函数实现鼠标操作.首先,通过图像处理技术把从摄像头捕捉的原图像转换为可信度较高的二值图像;其次,调用静态手势识别算法识别展开的手指个数,根据手指个数,结合Windows API的鼠标类函数实现鼠标双击及移动功能;最后,当检测到手指个数为5时,调用动态手势识别算法来识别手势的上下左右四个方向,并结合Windows API的鼠标类函数模拟鼠标左右键按下、抬起及滚轮滑动等操作.实验表明,该手势识别算法的识别率达到了94.11%,对于一些开发平台没有鼠标或在使用鼠标不方便的情况下,用手势来替代鼠标输入具有一定的研究价值和意义.     

基于特征线条的手势识别

单目视觉的手势识别系统,通常把人手建模成一个像素或者一块,从整体上分析手势的运动参数并提取表观特征.从细微之处着手,融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征线条,并将特征线条分割成小的曲线段,跟踪这些曲线段的运动.采用平面模型对手势图像表观的变化建模,根据各个曲线段的运动,融合成手的整体运动分量.同时分析了图像坐标系的选取和对运动参数的影响,提出了随手运动的坐标系,以抽取平移不变的平面模型参数,进行手势识别.     

基于自适应手指分割与判别的静态手势识别

由于动态手势可以看作是多帧静态手势的融合,研究静态手势成为解决手势识别问题的重点。针对静态手势,提出一种自适应手指分割与判别的手势识别算法。首先,运用YCb Cr颜色空间的肤色聚类特性对手势图像进行分割,并采用质心点漂移的理念确定手指方向并作旋转归一化处理;其次,针对手势轮廓点的梯度方向和跨度确定手指的候选区域,并结合形态学的方法重建出单一手指的二值化形态;最后,选取恰当的形状特征,运用SVM分类器对其形状特征进行分类。实验表明该方法具有较好的识别率。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

A taxonomy and notation method for three-dimensional hand gestures

Recently, studies on gesture-based interfaces have made an effort to improve the intuitiveness of gesture commands by asking users to define a gesture for a command. However, there are few methods to organize and notate user-defined gestures in a systematic approach. To resolve this, we propose a three-dimensional (3D) Hand Gesture Taxonomy and Notation Method. We first derived elements of a hand gesture by analyzing related studies and subsequently developed the 3D Hand Gesture Taxonomy based on the elements. Moreover, we devised a Notation Method based on a combination of the elements and also matched a code to each element for easy notation. Finally, we have verified the usefulness of the Notation Method by training participants to notate hand gestures and by asking another set of participants to recreate the notated gestures. In short, this research proposes a novel and systematic approach to notate hand gesture commands.     

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法。根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH(成对几何直方图)的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求。     

Gesture Recognition Summarization

Gesture recognition is an important research in the field of human-computer interaction. Hand Gestures are strong variable and flexible, so the gesture recognition has always been an important challenge for the researchers. In this paper, we first outlined the development of gestures recognition, and different classification of gestures based on different purposes. Then we respectively introduced common methods used in the process of gesture segmentation, feature extraction and recognition. Finally, the gesture recognition was summarized and the studying prospects were given.     

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.     

Human-Animal Affective Robot Touch Classification Using Deep Neural Network

Touch gesture recognition is an important aspect in human–robot interaction, as it makes such interaction effective and realistic. The novelty of this study is the development of a system that recognizes human–animal affective robot touch (HAART) using a deep learning algorithm. The proposed system was used for touch gesture recognition based on a dataset provided by the Recognition of the Touch Gestures Challenge 2015. The dataset was tested with numerous subjects performing different HAART gestures; each touch was performed on a robotic animal covered by a pressure sensor skin. A convolutional neural network algorithm is proposed to implement the touch recognition system from row inputs of the sensor devices. The leave-one-subject-out cross-validation method was used to validate and evaluate the proposed system. A comparative analysis between the results of the proposed system and the state-of-the-art performance is presented. Findings show that the proposed system could recognize the gestures in almost real time (after acquiring the minimum number of frames). According to the results of the leave-one-subject-out cross-validation method, the proposed algorithm could achieve a classification accuracy of 83.2%. It was also superior compared with existing systems in terms of classification ratio, touch recognition time, and data preprocessing on the same dataset. Therefore, the proposed system can be used in a wide range of real applications, such as image recognition, natural language recognition, and video clip classification.     

基于触摸屏的手势遥控系统

传统遥控方式对用户的限制和束缚降低了用户体验质量。为此,提出一种基于触摸屏的手势遥控系统。通过分析触摸手势元动作,对触摸手势进行分类和数学建模,设计该遥控系统的触摸手势识别算法。该算法充分考虑了用户的认知和行为习惯差异,实现智能电视的手势遥控系统,收集真实用户在使用该遥控系统时的操作习惯,进一步提高触摸手势及其对应的遥控操作的识别准确率。实验结果表明,该算法能较好地区分易引起误操作的触摸手势,使得平均识别准确率达到99%。     

Effects of touchscreen gesture’s type and direction on finger-touch input performance and subjective ratings

Abstract

This study examined how finger-touch input performance (i.e. task completion time, failure status, and error rate) and subjective ratings (i.e. performance and physical demand) are influenced by touchscreen gestures’ type and direction. Twenty participants performed one-touch (i.e. drag and swipe) and two-touch (i.e. pinch and spread) gesture tasks on a tablet, using several major directions (i.e. eight directions for one-touch and four directions for two-touch gestures). The results showed that swipe was approximately 4.5 times faster than drag, but pinch and spread showed no significant difference in task completion time. Dragging and pinching showed more failures or higher error rates compared to swiping and spreading, respectively. One-touch gestures in the horizontal directions were rated to have higher performance and lower physical demand than those in the vertical and diagonal directions. Two-touch gestures in the horizontal directions took the shortest time but caused more failures and higher error rates.

Practitioner Summary: This study provides evidence for the effects of touchscreen gestures’ type and direction on human performance and subjective ratings, which varied depending on the number of fingers used. Designers should arrange related touchscreen components accordingly, to improve touch-finger input performance and reduce user workload.     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

支持概念设计的特征手势建模

给出了特征手势的概念并且建立了特征手势库，描述了基于特征手势的建模过程；进一步讨论了特征手势内部的约束建立和求解算法以及上下文感知技术，通过与传统建模和交互方式的对比，验证了特征手势建模的方便性．文中算法以用户为中心，给出了自然简便的设计工具，改善了人机交互方式．