基于加速度传感器的连续动态手势识别

针对个体手势动作信号的差异性和不稳定性,提出了一种基于加速度传感器的连续动态手势识别方法.通过MEMS加速度传感器采集手势动作信号,并结合手势信号的动作特征,对单个手势的有效数据进行自动定位截取,经预处理和特征提取后,构建隐马尔可夫模型(HMM)以实现对特定手势的实时识别.通过设计实现了一种可穿戴手势信号采集硬件原型系统,对10类手势的1000个手势数据进行识别对比实验,统计结果表明:该方法可以对连续手势进行实时有效的识别.     

实时手势加速度动作分割与识别研究

实时手势动作分割与识别是基于惯性传感器手势交互的重要研究内容.采用佩戴在手腕的单个加速度传感器获取手势加速度信号,提出一种实时手势加速度动作分割和识别方案.首先采用基于阈值的动作分割算法实时切分连续手势,通过聚类算法提取手势动作的关键特征,然后构造离散隐马尔可夫模型实现手势识别.实验结果表明,本文采用的手势动作切分算法能自动提取有效手势信号,关键特征选择不仅降低了隐马尔可夫模型的复杂度,而且提高了识别率.     

基于DSP的穿戴式动作传感器的手势识别

针对基于加速度传感器的手势识别算法实时性的需求以及识别算法性能的问题,提出了一种集加速度、地磁信号于一体的6轴AMI602动作传感器的手势识别系统:在硬件方面,运用无线方式进行传感器数据的采集,用DSP(TMS320F2812)强大的处理能力实现手势识别算法,增强了其系统识别的实时性;在算法方面,将提取的加速度特征值做动作姿态投影,得到新的加速度特征值,运用动态时间规整(DTW)算法进行模板匹配,提高了动作识别算法的性能.经过在DSP系统上实机验证,该方法在识别率和延时上都较以往方法有显著的提高.     

新型数据手套及其手势识别研究

在人机交互系统中,为了准确获取手部的运动信息,设计了一种基于微机电系统MEMS加速度传感器的新型数据手套.该数据手套以MXR9500传感器和SPCE061A单片机为核心元件,通过检测加速度传感器的三轴加速度来获取手势动作的空间三维信息和手指的运动信息.以该数据手套为基础开发的汉语手指语拼音字母识别系统,采用基于模糊理论的识别算法,进一步提高了识别准确率.测试结果表明手套测量数据准确,识别系统准确率高、运行稳定.     

基于ZigBee和加速度传感器的手势识别研究

随着人机交互手段的进步,手势识别得到了蓬勃的发展。基于微传感器的手势采集系统由于不受空间的约束逐渐得到重视,但该类型设备计算复杂度高、数据量大并且准确性不高。针对这一问题文中提出了一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器,将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法,对0～9十个手势进行判断,在20位实验者中得到了98%以上的识别率,同时由于其使用了ZigBee网络,系统移植性也得到了进一步加强,对后续手势识别研究有一定的参考价值。     

基于三轴加速度传感器的手势识别

针对手势交互中手势信号的相似性和不稳定性,设计实现一种基于三轴加速度传感器的手势识别方案。采用MMA7260加速度传感器采集主手腕的手势动作信号,根据手势加速度信号的特点,进行手势动作数据窗口的自动检测、信号去噪和重采样等预处理,通过提取手势动作的关键特征,构造离散隐马尔可夫模型,实现手势动作识别。实验结果证明该方案的识别精度较高。     

基于区间分布概率矩阵模型的动态手势识别方法

针对目前基于加速度传感器的手势识别算法的动态实时性与识别率的相互矛盾性,提出一种区间分布概率矩阵模型及动态手势识别方法。将手势动作的三维加速度信号进行动作数据自动检测、归一化和三次样条插值预处理,再根据信号分布特征,确定数据观测点,构造各观测点处的区间分布概率矩阵,优化矩阵,实现在线快速手势识别。该方法对手指可穿戴设备得到的真实数据集中进行了评估。结果显示其实时效果好,识别率高,实用性强。     

基于肌电信号和姿态信号的手势识别

针对仅利用手臂表面肌电(EMG)信号难以准确识别手指动作的问题,提出了将手指关节的姿态信号与表面EMG信号融合用于识别手指姿势的方法。利用MYO手环同步采集手臂的8组肌电信号,同时利用姿态传感器采集手指运动时的三维角度信息。采用滑动平均能量法,依据采集到的原始EMG信号进行活动段检测,提取出执行有效动作过程中的相关信号,并分别采用绝对值均值(MAV)和标准差(SD)对该部分的肌电信号和角度信号提取特征。将提取的特征值作为SVM多类分类器的输入,用于识别手势动作。实验结果表明:融合手指角度信号可有效提高手指动作的识别率,整体识别率达到99. 3%。     

基于FPGA的实时手势识别系统

本文构建了一个基于FPGA的实时手势识别平台,并在该平台上实现了一种基于表面肌电(sEMG)信号和加速度(ACC)信号的手势识别算法。具体实现过程中,无线sEMG传感器和无线三轴ACC传感器穿戴于两手前臂实时获取sEMG信号和ACC信号,并以无线方式发送到数据处理模块。数据处理模块充分利用FPGA的并行处理优势,融合ACC和sEMG信息特征,实现了单双手手势的实时识别。经测试,本文所用的手势识别算法移植到FPGA中以后,识别速度明显提高,16个中国手语手势动作达到了95%以上的识别率。     

基于深度信息的指尖追踪及手势识别

提出了一个基于深度信息对手指和手部进行实时跟踪,并可用于手势识别的方案。用Kinect获取深度信息,然后生成手部的三维点云,进行过滤转换成像素矩阵;使用K-curvature算法获取指尖和手掌方位,然后通过手指之间的相关距离进行手指标定。实验结果证明该方案识别追踪效果稳定且高效,不受光照和复杂背景影响,能够同时跟踪双手共10个手指和2个掌心的动作轨迹,并用于手势识别。     

Real-time synthesis of a humanlike agent in response to the user's moving image

This paper describes a parallel computing system and a software algorithm for real-time interaction between a human user and a synthesized, humanlike, moving image. The realistic humanlike agent on a monitor can recognize the palm position and finger motion (finger sign) of the user. She/he then tracks and gazes at the hand position to change her/his facial expression in response to the finger sign in real time. This visual software agent (VSA) is expected to play an important role in building an advanced human interface. We regard this type of interactive agent as avisual software robot. To achieve real-time image recognition and image synthesis, we have developed a parallel visual computer system the transputer network with visual interface to transputers (TN-VIT). The imagesynthesis speed of the TN-VIT is about 24 frames/s, including finger-sign recognition. Some samples of synthesized images and experimental results are shown.     

Interaction with In-Vehicle Electronic Systems: A Complete Description of a Neural Network Approach

Interaction with in-vehicle systems (car phones, traffic information, route guidance, etc) becomes a very difficult task since the control devices are often reduced to small switches and push-buttons. To solve the problem, a new input interface is proposed, based on character recognition. The paper describes in detail how a simple neural network can be applied down to the level of an industrial realization to provide a reliable user-machine interface. The industrial application is that of character recognition where characters are drawn with the finger on a small touchpad. Compared with the nearest neighbour method, the neural network solution has slightly better recognition rate, is faster and requires less memory space. The design of the recognition system is given and results of an experiment made on a driving simulator are presented.     

基于手指双模态特征的自动身份验证方法及系统

针对目前单模态生物特征识别在稳定性与安全性等方面的不足以及多模态融合识别的多设备多输入困难等问题, 本文提出一种充分考虑类内与类间度量的学习模型, 实现基于手指双模态特征的自动身份验证方法及系统。由于指静脉与指折痕具有不易改变, 难以伪造的特点, 本文选取这两种重要的手部特征进行身份验证。通过结合两种不同模态特征, 利用自编码网络对类内特征进行表示, 来构建基于度量学习的孪生网络模型, 从而提取类内与类间特征; 接着将提取的指静脉和指折痕特征进行距离计算, 将距离融合后使用逻辑回归模型进行概率判断, 最终实现有效的双模态融合身份验证。为验证我们提出方法的有效性,我们对指静脉识别结果性能进行了对比。实验结果表明, 我们的方法在更具有挑战性的数据库上识别等错误率为 1.69%, 较之现有代表性论文提出的模型的等错误率降低了 2.96%。我们也将构建的双模态融合模型与仅使用单一模态模型进行对比, 结果表明融合指静脉和指折痕特征的融合模型的等错误率为 1.55%,比单一模态的指静脉与指折痕模型分别降低了 0.14%和 3.0%, 表明了双模态身份验证模型性能更优。进一步地, 本文采集了一个更具有挑战性的数据库, 开发了显示图像及识别结果的图形界面,最终实现了一个从数据采集到识别匹配的端对端的一体化自动身份验证系统。基于以上研究, 本文首次提出了一个基于指静脉和指折痕特征的多目自动身份验证方案, 实现集准确性, 鲁棒性和实效性为一体的系统。     

A multi-view vision-based hand motion capturing system

Vision-based hand motion capturing approaches play a critical role in human computer interface owing to its non-invasiveness, cost effectiveness, and user friendliness. This work presents a multi-view vision-based method to capture hand motion. A 3-D hand model with structural and kinematical constraints is developed to ensure that the proposed hand model behaves similar to an ordinary human hand. Human hand motion in a high degree of freedom space is estimated by developing a separable state based particle filtering (SSBPF) method to track the finger motion. By integrating different features, including silhouette, Chamfer distance, and depth map in different view angles, the proposed motion tracking system can capture the hand motion parameter effectively and solve the self-occlusion problem of the finger motion. Experimental results indicate that the hand joint angle estimation generates an average error of 11°.     

VICs: A modular HCI framework using spatiotemporal dynamics

Many vision-based human-computer interaction systems are based on the tracking of user actions. Examples include gaze tracking, head tracking, finger tracking, etc. In this paper, we present a framework that employs no user tracking; instead, all interface components continuously observe and react to changes within a local neighborhood. More specifically, components expect a predefined sequence of visual events called visual interface cues (VICs). VICs include color, texture, motion, and geometric elements, arranged to maximize the veridicality of the resulting interface element. A component is executed when this stream of cues has been satisfied. We present a general architecture for an interface system operating under the VIC-based HCI paradigm and then focus specifically on an appearance-based system in which a hidden Markov model (HMM) is employed to learn the gesture dynamics. Our implementation of the system successfully recognizes a button push with a 96% success rate.Published online: 19 November 2004     

基于多特征多分类器的汉语手指字母流的识别系统

手指语是用手指指式进行交流,一个指式代表一个汉语拼音字母,按照汉语拼音方案拼成普通话.文中提出了一种基于多特征多分类器的汉语手指语识别方法,并利用该方法建造了手指字母流识别系统.实验表明,该方法的识别效率明显优于基于单分类器的识别方法.     

一种单手动态手指语的识别方法

本文利用数据手套CAS-Glove作为输入设备，在将各手指关节的运动状态进行模 糊划分的基础上，提出了一种基于多特征匹配和D-S证据理论的单手动态手指语识别方法． 该方法以初始状态向量、状态概率分布和周期特征向量作为词汇的特征描述，通过特征匹配 确定候选词的基本概率赋值，根据D-S证据理论将这些信息进行融合，确定出最终的识别结 果．实验结果表明该方法具有比较好的识别率和实时性，证实了该方法的有效性．     

基于脑肌电信号的机械臂控制方法与实现

针对脑-机接口目前存在的输入信息源单一、特征识别准确率低、输出控制指令少的问题,本文提出一种基于脑肌电信号的机械臂控制系统。首先对单侧手臂肌电信号和左右手运动想象脑电信号进行同步采集,然后分别进行特征提取和分类识别;并最终将分类模型应用于机械臂的多指令实时控制中。实验结果表明：20名被试者均实现了机械臂的多指令实时控制,且各动作识别准确率平均达到了95%以上。该系统模型丰富了混合脑-机接口的多样性,为脑-机接口在机械臂的控制应用提供了理论依据和实践基础。     

基于在线识别的机器人动态手眼协调

本文研究了基于在线识别的机器人动态手眼协调,通过视觉在线识别目标的结果来 动态规划机器人的运动,改善了系统的柔性,提高了系统对环境的适应能力．实验证明,文 中所采用的识别算法具有很好的实时性和可靠性．引入语音控制改善了人机交互．