适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法。根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH（成对几何直方图）的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求。     

3D交互输入新技术——手势识别

本文从分析人机交互研究的目的出发 ,介绍了用户产生手势到系统“感知”手势的过程 ,包括手势的建模及识别的原理和方法 .本文在对手结构和手关节运动分析的基础上 ,提出了基于数据手套和基于视觉(摄象机 )的手势输入方式 ,通过手势图象的分析 ,采用模糊神经网络方法对手势图象进行识别 ,取得了较好的效果 ,实现了一种在虚拟环境中具有广阔运用前景的 3D交互输入新技术——手势识别     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于加速度传感器的连续动态手势识别

针对个体手势动作信号的差异性和不稳定性,提出了一种基于加速度传感器的连续动态手势识别方法.通过MEMS加速度传感器采集手势动作信号,并结合手势信号的动作特征,对单个手势的有效数据进行自动定位截取,经预处理和特征提取后,构建隐马尔可夫模型(HMM)以实现对特定手势的实时识别.通过设计实现了一种可穿戴手势信号采集硬件原型系统,对10类手势的1000个手势数据进行识别对比实验,统计结果表明:该方法可以对连续手势进行实时有效的识别.     

虚拟环境中基于手势识别的三维交互技术

介绍了基于数据手套和基于视觉 (摄像机 )的手势输入 ,在分析了手势识别原理的基础上 ,通过计算机进行图像分析 ,采用神经网络和几何法对其图像进行手势的识别 ,实现了一种在虚拟环境中具有广阔运用前景的三维交互输入新技术。     

实时手势加速度动作分割与识别研究

实时手势动作分割与识别是基于惯性传感器手势交互的重要研究内容.采用佩戴在手腕的单个加速度传感器获取手势加速度信号,提出一种实时手势加速度动作分割和识别方案.首先采用基于阈值的动作分割算法实时切分连续手势,通过聚类算法提取手势动作的关键特征,然后构造离散隐马尔可夫模型实现手势识别.实验结果表明,本文采用的手势动作切分算法能自动提取有效手势信号,关键特征选择不仅降低了隐马尔可夫模型的复杂度,而且提高了识别率.     

Adaptive mixture-of-experts models for data glove interface with multiple users

Hand gestures have great potential to act as a computer interface in the entertainment environment. However, there are two major problems when implementing the hand gesture-based interface for multiple users, the complexity problem and the personalization problem. In order to solve these problems and implement multi-user data glove interface successfully, we propose an adaptive mixture-of-experts model for data-glove based hand gesture recognition models which can solve both the problems.The proposed model consists of the mixture-of-experts used to recognize the gestures of an individual user, and a teacher network trained with the gesture data from multiple users. The mixture-of-experts model is trained with an expectation-maximization (EM) algorithm and an on-line learning rule. The model parameters are adjusted based on the feedback received from the real-time recognition of the teacher network.The model is applied to a musical performance game with the data glove (5DT Inc.) as a practical example. Comparison experiments using several representative classifiers showed both outstanding performance and adaptability of the proposed method. Usability assessment completed by the users while playing the musical performance game revealed the usefulness of the data glove interface system with the proposed method.     

结合纹理特征改进的GBIS图像分割方法

针对GBIS(efficient graph-based image segmentation)方法在分割含有较丰富纹理信息的图像时, 分割效果不理想的问题, 在L*a*b*彩色空间下, 结合图像的纹理特征, 提出了一种改进GBIS图像分割方法, 记为IGBIS(improved efficient graph-based image segmentation)。该方法首先将图像由RGB空间转换到L*a*b*颜色空间; 接着, 结合L*a*b*彩色空间, 对GBIS方法中的权值函数作了改进, 引入了一个常数s, 用于控制相邻像素之间颜色的差异程度; 然后, 用熵的方法来获取L*a*b*彩色图像的纹理特征; 最后, 结合图像的纹理信息, 改变了GBIS方法中的区域合并条件, 得到最终的分割结果。实验证明, 与原算法相比, 该方法在分割精度与分割质量上有了很大程度的提高。IGBIS有效地抑制了彩色图像在分割中存在的过分割现象, 并适合于含有丰富纹理的彩色图像。     

一种数据手套交互控制模块的设计与应用

在三维虚拟环境下进行虚拟制造(VM),是当今制造业发展的趋势.数据手套是实现虚拟现实技术的交互设备之一,数据手套的应用对于虚拟制造非常重要.研究数据手套的功能和原理,设计了一种面向虚拟制造的数据手套交互控制模块.通过虚拟手的建模以及数据手套实时采集数据,来实现虚拟手与人手的手势映射,并结合层次包围盒算法实现虚拟手与虚拟场景的碰撞检测.研究结果显示,在模块下人手到虚拟手的动作映射和虚拟手对虚拟物体的碰撞检测能基本满足虚拟制造系统的理论要求,具有一定的实用性.     

uWave: Accelerometer-based personalized gesture recognition and its applications

The proliferation of accelerometers on consumer electronics has brought an opportunity for interaction based on gestures. We present uWave, an efficient recognition algorithm for such interaction using a single three-axis accelerometer. uWave requires a single training sample for each gesture pattern and allows users to employ personalized gestures. We evaluate uWave using a large gesture library with over 4000 samples for eight gesture patterns collected from eight users over one month. uWave achieves 98.6% accuracy, competitive with statistical methods that require significantly more training samples. We also present applications of uWave in gesture-based user authentication and interaction with 3D mobile user interfaces. In particular, we report a series of user studies that evaluates the feasibility and usability of lightweight user authentication. Our evaluation shows both the strength and limitations of gesture-based user authentication.     

基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。     

一种面向遥操作的新型数据手套研制

本文主要介绍了自制的BHG-Ⅱ型数据手套的设计、原理和实验,给出了该数据手套 的性能、优缺点和实验数据,并借助图形仿真模型验证了利用数据手套在虚拟环境下进行人 机交互的可行性,最后通过数据手套对灵巧手控制实验说明了其在遥操作领域应用的有效性 ．     

The Audience Funnel: Observations of Gesture Based Interaction With Multiple Large Displays in a City Center

Data are presented from observations of Magical Mirrors, a set of four large public displays with gesture-based interaction installed in downtown Berlin, Germany. The displays show a mirror image of the environment in front of them and react with optical effects to the gestures of the audience. Observations of audience behavior revealed recurring behavioral patterns, like glancing at a first display while passing it, moving the arms to cause some effects, then directly approaching one of the following displays and positioning oneself in the center of the display. This was often followed by positioning oneself in the center of the other displays to explore the possibilities of the different effects, and sometimes by taking photographs or videos. From these observations a framework of interaction with gesture-based public display systems was deduced. It describes the phases of passing by a display, viewing & reacting, subtle interaction, direct interaction, multiple interactions, and follow-up actions. Quantitative data of these behavioral phases was collected by observing 660 passers-by on 2 weekend evenings. This article shows how many passers-by pass the thresholds between these phases. This “Audience Funnel” should provide a framework to encourage systematic investigation of public display systems and enable comparability between different studies.     

Performance evaluation of different age groups for gestural interaction: a case study with Microsoft Kinect and Leap Motion

Universal Access in the Information Society - With the thriving of different natural interaction paradigms—such as gesture-based interfaces—it becomes important to understand how these...     

运动传感驱动的3D直观手势交互

为了使手势交互方式较少受到场地和光线的限制,提出利用加速度传感器作为输入设备进行手势识别的方法.对每种手势只要求用户做一次示范表演,通过添加噪声等手段来提高训练数据生成的自动化程度;将训练数据经过预处理和特征提取之后用于训练机器学习模型(隐马尔科夫模型和支持向量机).在包含70种手势的测试集上进行实验,平均识别率超过90%;并开发了幻灯片手势控制和手势拨号2个基于手势的人机交互原型系统,结果表明文中方法能够显著地提升用户在人机交互中的体验.     

A visual attention-based method to address the midas touch problem existing in gesture-based interaction

The “Midas Touch” problem has long been a difficult problem existing in gesture-based interaction. This paper proposes a visual attention-based method to address this problem from the perspective of cognitive psychology. There are three main contributions in this paper: (1) a visual attention-based parallel perception model is constructed by combining top-down and bottom-up attention, (2) a framework is proposed for dynamic gesture spotting and recognition simultaneously, and (3) a gesture toolkit is created to facilitate gesture design and development. Experimental results show that the proposed method has a good performance for both isolated and continuous gesture recognition tasks. Finally, we highlight the implications of this work for the design and development of all gesture-based applications.