基于Leap Motion的手势控制技术初探

最新体感设备Leap Motion的面世提供给用户一种全新的体验, 即通过跟踪探测动态手势可以进行体感游戏、虚拟演奏、凌空绘画等的非接触式人机交互. 文章首先对Leap Motion的技术特点进行介绍, 并对同类型设备进行对比总结, 介绍了Leap Motion的相关应用和发展前景. 文章分析了Leap Motion的原理和技术基础, 然后提出基于Leap Motion的手势控制技术, 最后以一个基于Unity 3D的手势控制虚拟场景中的物品运动的具体实例, 对Leap Motion手势控制技术的实现进行了细节介绍.     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

基于双Leap Motion的三维可视化交互方法研究

由于Leap Motion硬件设备识别范围和其图像识别算法的局限性,当交互手势中手指平面平行于Leap Motion视觉探测方向时容易因产生手指混叠现象,降低手势识别的精度而影响交互体验.为解决手指遮挡问题提高交互体验,提出在不同角度设置双Leap Motion的方法.首先垂直设置双Leap Motion于预定位置;然后对上边Leap Motion探测数据进行矩阵转换;最后对双Leap Motion数据进行数据融合计算,得到手势运动类型.一系列用户对比实验结果表明,该方法在减少手指混叠现象、提高易用性方面有明显作用,具有实际应用价值.     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于Leap Motion和Unity3D的虚拟沙画手势识别及交互

虚拟仿真技术的快速发展及体感设备的不断更新为沙画动画这一全新的艺术创作形式带来新的灵感。针对沙画现场作画工序复杂的问题,结合Leap Motion设备和Unity3D开发环境完成手势识别并驱动虚拟手实现虚拟沙画效果。首先,依据Leap Motion捕捉到的手势坐标及方向信息提取手部关键点;然后提出角域划分的方法并引入新的特征向量,将其与提取信息串联作为手势分类依据;最后,根据自行定义的沙画手势语义驱动虚拟手完成虚拟沙画创作。实验证明,利用Leap Motion完成近距离手势识别效果较其他方法结果更加精准,实时性较高,手势跟踪稳定,虚拟沙画绘画过程沉浸感强。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

基于姿态与力测量的手功能自动康复评估方法

脑卒中后约70%的患者存在手部功能障碍,需要长期进行康复治疗。康复评估是制定康复治疗方案的科学依据。现有手功能评定方法需要有经验的医生指导患者完成目标任务,其评分机制具有一定的主观性,而且持续时间较长,整个评估过程不仅费力、复杂,还降低了患者的舒适度。目前仍缺乏准确的手功能自动评估系统,开发客观、定量、可靠的测量设备,实现手功能自动评估在康复医学中具有重要意义。因此,提出一种基于柔性阵列式薄膜压力传感器(Flexible Array Pressure Sensor, FAPS)和RGBD相机的自动Fugl-Meyer手功能评估系统。该系统采用Leap Motion双目视觉传感器跟踪手部/手腕的运动姿态,将FAPS分别附着在5种抓握工具上,记录5种抓握方式下手部的力信息。设计包含教学视频的上位机平台,指导患者康复评估动作。分别提取运动姿态和力信息的特征值,设计基于不同条件的逻辑规则分类方法进行每个动作的评定。进行了初步实验,结果证明该系统可用于手部运动功能的康复评估。     

Leap Motion体感控制器及其在飞机结构展示系统中的应用

由于现有的展示系统主要是依靠传统的鼠标和键盘实现控制,在人机交互和效率上存在很大的问题。针对这种情况,提出采用Leap Motion体感控制器代替传统鼠标键盘的程序控制方法。采用Leap公司的Leap Motion作为传感器,建立不依赖于传统手持设备的手势交互飞机结构展示系统。通过手势变换和手势识别实现飞机结构的放大、缩小、平移和旋转等基本功能。应用实例表明,Leap Motion体感控制器是一种非常直观、自然、有效的人机交互设备,可以广泛应用于人机交互领域。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

Leap Motion手势交互层次化校正方法研究

Leap Motion手势识别在识别区域边缘和手指遮挡部位存在识别不稳定的现象。提出了一种Leap Motion手势交互层次校正方法。该方法通过实时对比阈值方式分析Leap Motion的识别错误,并采用层次化的校正算法校正人手位置,解决人手交互过程中的识别不稳定现象。通过对实验进行分析,75%参与者对实验交互方式满意,80%参与者认为该方法更精确,且交互内容识别精度超过89%,充分证明了该方法能够提高Leap Motion的识别准确率,提升用户体验。     

基于Leap Motion的电影前期预演人机交互方法

随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重要研究内容.针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、便携性差等问题.提出一种基于Leap Mo...     

基于Leap Motion和S曲线的飞行机器人机械臂控制研究

针对带有多自由度机械臂的飞行机器人,提出基于Leap Motion的控制方法以实现机械臂跟随人体手掌位置姿态运动的功能。采用DH方法建立了机械臂数学模型,给出了将Leap Motion获取的人手运动映射到机械臂末端的推导过程。利用7段S型曲线调速方法近似实现舵机角加速度连续没有突变,减轻了舵机快速响应给飞行器带来的冲击问题。设计制作了实物样机对控制方法的可实现性进行验证测试,在飞行测试中,成功地利用Leap Motion控制远端的机械臂抓取到地面目标。     

基于多约束融合的人手臂三维运动分析

为了在没有任何特殊标志的情况下,实现从单目序列图象中分析、估计人手臂的三维运动,提出了一种多约束融合的方法,该方法是利用棍棒模型来模拟人的手臂,首先通过处理单目图象序列来自动获取图象序列中手臂关节点的对应;然后再利用多约束融合及基于图象序列中关节点的对应,即估计尺度意义下关节点的三维相对运动轨迹;最后利用真实图象来获得相应人手臂的三维运动轨迹,并将其与通过运动捕捉系统获得的人手臂的真实三维运动轨迹进行了比较实验。实验结果表明,该方法用于对人手臂的运动分析非常有效。     

基于时空约束的运动编辑和运动重定向

近年来兴起的运动捕获已成为人体动画中最有应用前景的技术之一，目前运动捕获手段很多，但是通常成本高，而且捕获到的运动类型比较单一，为了提高运动捕获数据的重用性，生成与复杂场景协调的多样的动画，必须对捕获的运动数据进行编辑和重定向处理，介绍了一种基于时空约束的运动编辑和运动重定向方法，通过规定一组时空约束条件，建立相应的目标函数，采用逆向运动学和数值优化方法求解出满足约束条件的运动姿势，实验结果表明，该方法可以生成多种满足不同场景婪泊逼真运动，提出了数据的重用性。     

基于运动路径变换的人体运动编辑

运动捕获已经成为计算机动画中一个成熟的技术,但是捕获的成本相对较高,而且捕获到的运动大多比较单一、通用性低。为了提高运动捕获数据的重用性,产生了适应不同需求的各种运动编辑的技术和方法。文章介绍了基于路径变换的人体运动编辑方法,推导了路径变换的公式,并提出了步长的概念,并以此分类,从而节省了约束重建时的运算量。     

Visual rendering of shapes on 2D display devices guided by hand gestures

Designing of touchless user interface is gaining popularity in various contexts. Users can interact with electronic devices using such interfaces even when their hands are dirty or non-conductive. Also, users with partial physical disability can interact with electronic devices with the help of touchless interfaces. In this paper, we propose a Leap Motion controller-based methodology to facilitate rendering of 2D and 3D shapes on display devices. The proposed method tracks finger movements while users perform natural gestures within the field of view of the motion sensor. Then, trajectories are analyzed to extract extended Npen++ features in 3D. These features capture finger movements during the gestures and they are fed to unidirectional left-to-right Hidden Markov Model (HMM) for training. A one-to-one mapping between gestures and shapes, is proposed. Finally, the shapes corresponding to these gestures are rendered over the display using a typical MuPad supported interface. We have created a dataset of 5400 samples recorded by 10 volunteers. Our dataset contains 18 geometric and 18 non-geometric shapes such as “circle”, “rectangle”, “flower”, “cone”, “sphere”, etc. The proposed method has achieved 92.87% accuracy using a 5-fold cross validation scheme. Experiments reveal that the extended 3D features perform better than the existing 3D features when applied for shape representation and classification. The method can be used for developing diverse HCI applications suitable for smart display devices.