基于数据手套的人机交互环境设计

在对于手结构和手关节运动深入分析的基础上,建立了基于约束的,以关节为节点的“父,子物体”链接的虚拟手模型,绘制了虚拟手。通过对数据手套及接口的分析与设计,根据手运动类型的约束条件及图形变换原理,实现了基于数据手套的手势合成,碰撞检测和碰撞处理的三维交互操作环境,在该虚拟环境中,虚拟手可以进行飞行,抓骤,释放物体等各类运动与操作。     

面向手势动作捕捉的传感器设计及主从手运动映射

本文针对人手和机器人灵巧手在运动学上尺寸的不一致现象带来的主从手指尖运动空间映射的不一致性进行研究.基于聚氨酯拉伸应变传感器构建了测量手指关节弯曲角度的数据手套.通过建立主从手的运动学模型,基于旋转矩阵理论及正向运动学提出了一种指尖运动轨迹计算方法及手势动作捕捉算法.基于正向运动学及逆向运动学的指尖运动映射算法建立了主从手的指尖运动空间轮廓.建立虚拟实验场景,分别针对关节角度映射算法、手势动作捕捉算法及指尖运动映射算法进行了一系列试验.通过实验得出基于聚氨酯的拉伸应变传感器具有良好的时间响应特性及电学稳定性,基于手势动作捕捉算法能够获取主从手的指尖运动空间轮廓,指尖运动轨迹的计算误差控制在2.8 mm以内.结果证明了基于手势动作捕捉算法以及指尖运动映射算法能够实现主从手指尖运动空间的一致性.     

手势合成的建模方法

本文介绍了手势的分类，以及在虚拟现实技术中的应用，通过分析手的物理结构，确定了手关节的自由度，以及关节运动的约束，分别从几何建模和行为建模两个方面来介绍合成手势的方法。     

虚拟手的远程控制实现

针对远程控制虚拟手传输数据量大,容易丢包和出现时延的情况,提出了一种基于行为数据库的参数传递方法。利用3DS MAX软件对虚拟手建模并用OpenGL在PC机上显示;将手势数据测量装置采集的手势原始数据转化成虚拟手的运动角度参数后,以一定的结构形式储存并编号,建立对应的手势行为数据库;通过传输参数编号代替直接传输手势数据降低传输数据量;通过在传输协议中加入打包序号的方式解决由于传输路径不同带来的虚拟手显示时出现的“帧倒序”现象。真实手和虚拟手的匹配实验结果表明数据传输准确、时延低。     

支持概念设计的特征手势建模

给出了特征手势的概念并且建立了特征手势库，描述了基于特征手势的建模过程；进一步讨论了特征手势内部的约束建立和求解算法以及上下文感知技术，通过与传统建模和交互方式的对比，验证了特征手势建模的方便性．文中算法以用户为中心，给出了自然简便的设计工具，改善了人机交互方式．     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

融合手势全局运动和手指局部运动的动态手势识别

传统基于手部轮廓或手部运动轨迹的动态手势识别方法,其提取的特征通常难以准确表示动态手势之间的区别.针对动态手势的复杂时序、空间可变性、特征表示不准确等问题,提出一种融合手势全局运动和手指局部运动的手势识别方法.首先进行动态手势数据预处理,包括去除手势无效帧、手势帧数据补全和关节长度归一化;然后根据给定的手部关节坐标,利用手势距离函数分段提取动态手势关键帧,并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征;其次融合手势全局运动和手指局部运动的关键帧手势特征,并采用线性判别分析进行特征降维;最后利用带高斯核的支持向量机实现动态手势识别与分类.对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验,其分类识别准确率分别为98.57%和88.29%,比现有方法分别提高11.27%和4.89%.实验结果表明,该方法能准确地表征动态手势并进行手势识别.     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

基于手势识别的人机交互发展研究

近年来手势识别技术的快速发展,基于手势识别技术的人机交互应用系统的建立使得人机交互的发展前景广阔.从手形、手势和手形手势的建模出发,介绍了模板匹配、特征提取、神经网络和隐马尔可夫模型4种手势识别的方法,并且综述了基于手势识别技术人机交互的发展,详细介绍了3类人机交互系统：漫游型系统、编辑型系统和操作型系统.     

基于WiseGlove数据手套的维修手势仿真研究与实现

维修手势仿真是虚拟维修训练仿真研究的重要内容之一;首先,介绍了数据手套WiseGlove,并根据手指生理约束特点,建立手指几何模型和运动模型;其次,为解决WiseGlove测量值个数及精度制约而引起的维修手势仿真过程严重失真现象,提出了实时数据驱动的维修手势仿真过程方法和维修手势模糊匹配方法;最后,在Virtools中利用VSL脚本语言及行为模块BB,实现了维修手势仿真;并随机选取10组数据,对维修仿真效果进行验证;结果表明,能较好地解决维修手势仿真失真现象。     

基于解剖学的人手肌肉建模技术

为实现仿真手在运动过程中符合人手的生理特性及运动特点，文中通过分析手的解剖结构，总结控制手部运动和形状的约束参数．采用层次建模方法，先建立用线段表示的含有约束参数的手部骨骼模型，然后在此基础上根据手部的特征横截面确定特征多边形，采用NURBS面片拟合的方法建立依附于骨骼之上的肌肉模型。此方法建立的手部模型在运动仿真过程中，手部肌肉以对应的骨骼为轴线并随着骨骼各个参数的变化而发生相应的变化，最终取得良好的仿真效果。     

灵巧手运动学分析

本文研究了灵巧手操作物体的运动学问题,在分析手指与物体接触条件的基础上,建立了手指与物体之间单点接触作纯滚动和作可控制滑动的运动学方程,给出了3R,4R 和5R 手指的运动约束条件,并对5-4-5型灵巧手进行了速度仿真和图形仿真.     

人手食指运动学建模

通过分析人手解剖学结构和观察人手运动特性，提出如下观点：（1）食指指掌关节具有两个轴线垂直相交的旋转自由度，两轴线相对于手掌不同的排列顺序对应于两种不同的运动学模型，指掌关节只能是其中的一种；（2）食指指掌关节的两个自由度在运动极限位置具有相关性．通过实验测绘出人手食指的工作空间形状，将之与两种可能的食指运动学模型对应的工作空间相比较，判别出指掌关节的真实运动学结构，并验证了指掌关节极限位置上两个自由度运动相关性．在上述工作基础上建立了符合人手实际结构的手指运动学模型．     

A natural human hand model

We present a skeletal linked model of the human hand that has natural motion. We show how this can be achieved by introducing a new biology-based joint axis that simulates natural joint motion and a set of constraints that reduce an estimated 150 possible motions to twelve. The model is based on observation and literature. To facilitate testing and evaluation, we present a simple low polygon count skin that can stretch and bulge. To evaluate we first introduce a hand-motion taxonomy in a two-dimensional parameter space based on tasks that are evolutionary linked to the environment. Second, we discuss and test the model. The appendix shows motion sequences of the model and the real hand. Animations can be fetched from our website.     

手部运动计算机仿真的实现

根据手部自身的物理特性和生理特性,采用分层技术,严格按照手部解剖学,先建立其骨骼模型,在此基础上形成肌肉模型,最后在肌肉模型上附加一层皮肤。这样,骨骼运动引起肌肉的变形,随着皮肤也跟着发生相应的变化,使虚拟手模型无论从形状上还是运动上都能达到更高程度的逼真效果。     

新型多自由度假手的研制

介绍了一种新型多自由度假手的机械结构、运动方式及其静力学分析．假手的主要结构部件由光敏树 脂制成,使用小型直流伺服电机作为驱动器．手指采用欠驱动及腱驱动方式．该假手具有拟人的外观、较低的整体 重量和对被抓物体外形的适应能力．文章研究了假手的运动特点及接触力规律,通过仿真对假手的接触受力规律进 行了校验．最后通过实验,对假手的运动规律与抓握能力进行了验证．     

基于特征线条的手势识别

单目视觉的手势识别系统,通常把人手建模成一个像素或者一块,从整体上分析手势的运动参数并提取表观特征.从细微之处着手,融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征线条,并将特征线条分割成小的曲线段,跟踪这些曲线段的运动.采用平面模型对手势图像表观的变化建模,根据各个曲线段的运动,融合成手的整体运动分量.同时分析了图像坐标系的选取和对运动参数的影响,提出了随手运动的坐标系,以抽取平移不变的平面模型参数,进行手势识别.     

Neurofuzzy Inverse Jacobian Mapping for Multi-Finger Robot Hand Control

Fuzzy systems and models are useful for describing processes where the underlying physical mechanisms are not completely known and where a system behavior is understood in qualitative terms. Neurofuzzy systems have been employed in large number of intelligent based control systems and robotics, that is due to the ability to deal with large number of inputs and with the ability to learn and remember specific learned patterns. This paper investigates the employment of a neurofuzzy system for a multi-finger robot hand control and manipulation tasks. The approach followed here is to let a defined neurofuzzy system to learn the nonlinear functional relation that maps the entire hand joint positions and displacements to object displacement. This is done by avoiding the use of the Inverse Hand Jacobian, while observing the interaction between hand fingers and the object being grasped and manipulated. The developed neurofuzzy system approach has been trained for several object training patterns and hand postures within a cartesian based palm dimension. The paper demonstrates the proposed algorithm for a four fingered robot hand motion, where inverse hand Jacobian plays an important role in the hand dynamics and control.     

Intrinsic constraints in space-time filtering: a new approach torepresenting uncertainty in low-level vision

Describes how, in the process of extracting the optical flow through space-time filtering, one has to consider the constraints associated with the motion uncertainty, as well as the spatial and temporal sampling rates of the sequence of images. The motion uncertainty satisfies the Cramer-Rao (CR) inequality, which is shown to be a function of the filter parameters. On the other hand, the spatial and temporal sampling rates have lower bounds, which depend on the motion uncertainty, the maximum support in the frequency domain, and the optical flow. These lower bounds on the sampling rates and on the motion uncertainty are constraints that constitute an intrinsic part of the computational structure of space-time filtering. The author shows that if he uses these constraints simultaneously, the filter parameters cannot be arbitrarily determined but instead have to satisfy consistency constraints. By using explicit representations of uncertainties in extracting visual attributes, one can constrain the range of values assumed by the filter parameters