基于自适应遗传算法的手势识别

基于小样本库的手势识别是先进人机交互研究中的一个重要分支.根据Tortoise人手模型训练手势模式库并结合交互者的具体手部特征进行手形训练,生成适用于特定交互者的手势模式库.在交互过程中,根据来自一个或多个同步摄像头的视频信息进行基于自适应遗传算法的手势识别.实验结果表明,在环境光照基本稳定的条件下,文中算法可以实现鲁棒的实时手势识别.     

实时手势加速度动作分割与识别研究

实时手势动作分割与识别是基于惯性传感器手势交互的重要研究内容.采用佩戴在手腕的单个加速度传感器获取手势加速度信号,提出一种实时手势加速度动作分割和识别方案.首先采用基于阈值的动作分割算法实时切分连续手势,通过聚类算法提取手势动作的关键特征,然后构造离散隐马尔可夫模型实现手势识别.实验结果表明,本文采用的手势动作切分算法能自动提取有效手势信号,关键特征选择不仅降低了隐马尔可夫模型的复杂度,而且提高了识别率.     

面向互动电视的手势交互系统

针对用户与互动电视交互的需求,设计实现一种基于智能移动终端加速度传感器的手势交互系统。考虑到智能移动设备资源及计算能力有限的特点,采用简单高效的时域特征提取方法,对加速度信号进行平稳降噪、去冗余和归一化处理,并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统,实现用户与电视的实时交互。实验结果表明该系统实现了电视常用手势的准确识别,识别率达到了96%,具有一定的实用价值。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

面向虚拟现实的层次化交互手势建模与理解方法

虚拟现实中的交互手势包括多种不同类型,层次化建模方法避免了采用单一模型导致效率不高的问题.识别是一个由粗到精的过程,通过滑动窗技术实时提取手势的统计特征,实现手势类别的粗略划分,然后采用不同方法对各类手势进行分析.交互环境及上下文信息用以辅助手势的类别划分,提高了识别效率.最后通过虚拟家居系统对该方法进行了验证.     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

基于加速度传感器的连续动态手势识别

针对个体手势动作信号的差异性和不稳定性,提出了一种基于加速度传感器的连续动态手势识别方法.通过MEMS加速度传感器采集手势动作信号,并结合手势信号的动作特征,对单个手势的有效数据进行自动定位截取,经预处理和特征提取后,构建隐马尔可夫模型(HMM)以实现对特定手势的实时识别.通过设计实现了一种可穿戴手势信号采集硬件原型系统,对10类手势的1000个手势数据进行识别对比实验,统计结果表明:该方法可以对连续手势进行实时有效的识别.     

基于机器视觉的动态多点手势识别方法

提出了一种高效的基于HSV颜色空间的多目标检测跟踪方法,实现通过摄像机实时检测跟踪多个指尖目标;定义了一套基于指尖运动轨迹的动态手势模型,并提出了动态手势识别方法;对于两点动态手势,通过BP神经网络进行手势学习和手势识别,而对于模拟鼠标手势和四点动态手势,利用指尖之间相互位置关系进行手势识别.测试结果表明,该方法能够快速、准确的跟踪多个运动的指尖目标并进行动态多点手势识别.     

自拍相机运动手势交互界面的设计与实现

随着智能移动终端的发展及摄像镜头的小型化,自拍变得越来越流行。如何设计新型自拍交互方法使得用户在自拍过程中能够自由、实时地控制相机是自拍相机交互界面的关键问题。提出利用基于视觉的运动手势交互界面的新方法,使自拍过程中用户只要挥一挥手臂就可以实现与自拍相机的交互功能。使用手势交互的方法,用户可以把相机放在任意的平台上,自由地摆出各种自拍姿态,增加了自拍的丰富性,提高了用户体验。主要提出挥手及画圈两种交互手势,通过组合应用可以实现丰富高效的自拍交互控制功能,如快门控制、白平衡,曝光度等。手势的识别利用相机摄像的实时图像进行处理,采用稀疏光流算法来识别运动手势。用户评估实验表明,所提出运动手势自拍交互界面具有较好的交互效率以及良好的用户满意度,两种手势的识别效率约为85%。     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

基于Hausdorff距离的手势识别

随着先进人机交互技术的提出及发展，手势识别正成为其中一项关键技术，基于视觉的手势识别是当前涉及图象处理，模式识别，计算机视觉等领域的一个比较活跃的课题，由于Hausdorff距离模板匹配的方法具有计算量小，适应性强的特点，因此基于Hausdorff距离，建立了一个手势识别系统，该系统采用边缘特征像素点作为识别特征，并首次利用Hausdorff距离模板匹配的思想，在距离变换空间内，实现了中国手指字母集上的基于单目视觉的30个手指字母的手势识别，为提高系统的鲁棒性，还提出了修正的Hausdorff距离形式，测试集上的平均识别率为96．7％，实验结果表明，基于Hausdorff距离的模板匹配方法用于基于听觉的静态手势识别是可行的。     

基于多尺度形状描述子的手势识别

随着计算机性能的提高和人机交互技术的发展,手势识别越来越受到人们的重视,尤其是基于视觉通道的手势识别,使人机交互变得更加便捷。但由于人手是复杂形变体,现有的方法对运动过程中手的形变的描述不够充分。该文从视觉角度提出了一种新的手势建模的方法-多尺度形状描述子。从分析手的基本形状入手,利用了圆形的轴对称和中心对称的几何特点,具有旋转和尺度不变性。该描述子从多个尺度对手势进行形状描述,在一定程度上解决了手势的精细区分问题。     

基于普通红外摄像机的手势识别

手势识别技术作为最有前景的一种自然人机交互模式已经成功应用于一些领域。可靠的手势识别技术多依赖特定的硬件实现,而这种自然交互模式的普及需要自然环境下基于普通摄像机的通用手势识别技术。研究了在普通摄像机下对各种复杂背景、不同光照条件的静态手势的分割和识别技术。首先采用一种邻域变换算法,克服不同光照强度对分割的影响,然后提出一种求最小平均Hausdorff距离区域的算法,克服不同手势形状、方向、尺度等对分割的干扰。手势分割实验结果证明提出的算法可以在各种复杂背景及不同光照条件下分割出手势区域,正确率达到99.8%。最后改进了序贯最小优化算法训练二叉树结构的支持向量机多分类器,对实验采集的各种自然条件下九类手势图像的平均识别率超过80%,证明了算法用作普通摄像机下通用人机交互模式的可行性。     

GIS中线元的熵不确定带研究

空间数据的不确定性将直接影响地理信息产品的质量有GIS空间决策的可靠性，现已把它作为一个重要的基础理论问题加以研究，其中线元的位置不确定性是研究的一个热点，针对现有的线元位置不确定性模型的不足，通过引入信息熵理论，首先提出了二维随机点的熵误差椭圆指标与三维随机点的熵误差椭球指标；然后将它们扩展到线元的熵不确定带，实践证明，由于该模型能够根据联合熵唯一确定，且与置信水平的选取无关，因此比较适合作为线元位置不确定性度量的指标。     

深度相机在计算机视觉与图形学上的应用研究(英文)

越来越多的应用如几何重建、碰撞检测、混合现实、手势识别等,都依赖于对三维场景准确且快速的分析。通过基于图像的分析或者激光扫描技术来获取场景的深度图,其代价高昂且十分耗时。作为距离测量中一种可替代的设备,深度相机拥有传统的三维测量系统所不具备的一些优点,如较低的价格以及较高的拍摄速度等。最近出现了一些小巧低廉的深度相机设备,这将给计算机视觉、计算机图形学、人机交互等领域带来一系列革命性的变化,吸引了众多研究者的关注。对深度相机最新发展情况进行了介绍,并报告了深度相机在计算机视觉、计算机图形学中的应用现状。     

Innovative developments in HCI and future trends

The recent developments in technology have made noteworthy positive impacts on the human-computer interaction (HCI). It is now possible to interact with computers using voice commands, touchscreen, eye movement, hand gesture, etc. This paper compiles some of the innovative HCI progresses in various areas, e.g., specialised input/output devices, virtual or augmented reality, wearable technology, etc. It also identifies some future research directions.     

基于手势识别的人机交互发展研究

近年来手势识别技术的快速发展,基于手势识别技术的人机交互应用系统的建立使得人机交互的发展前景广阔.从手形、手势和手形手势的建模出发,介绍了模板匹配、特征提取、神经网络和隐马尔可夫模型4种手势识别的方法,并且综述了基于手势识别技术人机交互的发展,详细介绍了3类人机交互系统：漫游型系统、编辑型系统和操作型系统.     

A hand gesture-based interactive model to choose one from many

Natural,efficient,intelligent,and barrier-free HCI (Human-Computer Interface) will be the main developing direction of the new intelligent HCI.Building an intelligent,natural,harmonious and humanistic HCI has been the primary developing tendency of the new HCI. "Select one from many" is one of the key questions in researching and designing HCI based on gestures.On the single channel interactive condition which is based on 3D gesture operation,we build a interactive model of "Select one from many".Combining this model with "Token" technology and reciprocating movement feature,we present and realize a simple efficient "Select one from many" algorithm,which is used in a concrete SOR (Selection-Operation-Release) system.In the SOR system,we realize a real-time selection,tracking and interaction of natural gestures.     

Visual interpretation of hand gestures for human-computerinteraction: a review

The use of hand gestures provides an attractive alternative to cumbersome interface devices for human-computer interaction (HCI). In particular, visual interpretation of hand gestures can help in achieving the ease and naturalness desired for HCI. This has motivated a very active research area concerned with computer vision-based analysis and interpretation of hand gestures. We survey the literature on visual interpretation of hand gestures in the context of its role in HCI. This discussion is organized on the basis of the method used for modeling, analyzing, and recognizing gestures. Important differences in the gesture interpretation approaches arise depending on whether a 3D model of the human hand or an image appearance model of the human hand is used. 3D hand models offer a way of more elaborate modeling of hand gestures but lead to computational hurdles that have not been overcome given the real-time requirements of HCI. Appearance-based models lead to computationally efficient “purposive” approaches that work well under constrained situations but seem to lack the generality desirable for HCI. We also discuss implemented gestural systems as well as other potential applications of vision-based gesture recognition. Although the current progress is encouraging, further theoretical as well as computational advances are needed before gestures can be widely used for HCI. We discuss directions of future research in gesture recognition, including its integration with other natural modes of human-computer interaction     

Human–computer interaction using vision-based hand gesture recognition systems: a survey

Considerable effort has been put toward the development of intelligent and natural interfaces between users and computer systems. In line with this endeavor, several modes of information (e.g., visual, audio, and pen) that are used either individually or in combination have been proposed. The use of gestures to convey information is an important part of human communication. Hand gesture recognition is widely used in many applications, such as in computer games, machinery control (e.g., crane), and thorough mouse replacement. Computer recognition of hand gestures may provide a natural computer interface that allows people to point at or to rotate a computer-aided design model by rotating their hands. Hand gestures can be classified into two categories: static and dynamic. The use of hand gestures as a natural interface serves as a motivating force for research on gesture taxonomy, its representations, and recognition techniques. This paper summarizes the surveys carried out in human--computer interaction (HCI) studies and focuses on different application domains that use hand gestures for efficient interaction. This exploratory survey aims to provide a progress report on static and dynamic hand gesture recognition (i.e., gesture taxonomies, representations, and recognition techniques) in HCI and to identify future directions on this topic.