计算机手势输入及其在人机交互技术中的应用

本文简介计算机手势识别技术的基本手段,方法和技术,讨论手势作为人机交互通道所具有的特点,并介绍作者在多通道用户界面的研究中实现的对手势的整合技术。     

基于视频与语音的多通道游戏用户界面系统

设计和实现了一套基于视频和语音的多通道游戏用户界面系统，以增强计算机游戏的交互性和游戏用户的沉浸感．系统新创建并有效地整合了基于视频与语音两种交互通道，其中包含脸部模型重建、头部姿态估计、汉语语音识别三个模块，可快速实现个性化的游戏角色脸部模型，并允许游戏用户使用头部姿态和语音命令实时控制游戏角色和游戏进展．测试和应用结果表明：该系统适用于普通游戏用户和实际游戏环境．     

肌电信号多通道相关性特征手势识别方法

多通道表面肌电信号（surface electromyography,sEMG）传统手势识别方法,主要提取各个通道时域、频域和时频域特征作为分类器的输入,鲜有考虑通道间的相关性,在提升识别精度上遇到瓶颈。为了充分利用sEMG多通道信息以提高手势识别精度,提出一种以多通道相关性为特征的肌电手势识别方法。该方法计算多通道间一致性相关系数,作为多通道sEMG线性相关特征参数,同时获取多通道间的互信息,作为多通道sEMG非线性相关特征参数。实际运用中精确估计联合概率密度函数往往十分困难,根据互信息与copula熵关系,将互信息估计转化为copula熵的估计,通过经验分布函数进行概率积分变换,采用非参数估计方法估计copula熵,从而避免联合概率密度函数的估计。利用两种相关性特征参数构建多通道相关性特征进行对比实验,基于stacking模型使用多通道相关性特征与4种常用时域特征进行识别并对比结果,其次基于多通道相关性特征使用stacking模型与5种常用分类器进行对比识别,实验结果表明所提的多通道相关性特征能有效区分手势动作,在采集的健康受试者手势数据集上平均识别准确率达到94%。     

关于通用多通道整合模板的研究

针对多通道用户界面的核心问题——多通道整合,旨在对来自不同通道的信息进行合一化处理,最终向计算机正确传达用户意图。围绕多通道整合问题,通过分析多通道输入信息流的特点,提出了一个通用多通道整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究,面向开发人员提供可重用通用多通道整合模板的支持。并给出了一个具体的实现方法。     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

关于通用多通道整合模板的研究

针对多通道用户界面的核心问题——多通道整合，旨在对来自不同通道的信息进行合一化处理，最终向计算机正确传达用户意图。围绕多通道整合问题，通过分析多通道输入信息流的特点，提出了一个通用多通道整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究，面向开发人员提供可重用通用多通道整合模板的支持。并给出了一个具体的实现方法。     

微机控制下的双路语音输出系统

<正> 本文介绍了微机控制下的双通道语音输出系统。双通道甚至多通道的语音输出系统并非是从其立体声音响效果来讲的,这里的概念是指在同一时刻,能将不同内容的语音送到各通道上完成多路语音输出功能。目前,许多语音合成系统都是由短期付里叶变     

基于Internet的多通道用户界面

该文以作者承担的国家自然科学基金项目“基于互联网多通道用户界面的研究”为背景,总结了已完成的部分工作。文中介绍了作者提出的网络多通道界面模型、语音和指点相结合的基于上下文的查询、基于主通道的整合策略,并将受限的自然语言（汉语）理解技术应用于多通道交互中。文章给出了两个实例：汉语语音驱动的多通道文件管理器和网上购物多通道界面的ActiveX控件。结果表明,以上技术有助于提高人机交互的自然性和效率。     

多通道用户界面原型系统FreeVoiceCAD

用户界面的研究旨在为用户提供一种高效的人机通信方式,近年来随着计算机软、硬件的迅猛发展以及因特网的异军突起,传统的图形用户界面面临着新的挑战,重点介绍了在AutoCAD平台上开发的一个多通道用户界面原型系统—FreeVoiceCAD,它支持多个通道的用户输入,通过受限的自然语音、指点等方式进行图形设计,用户不仅可以直接向系统发出相应的语音命令请求执行,而且可以配合指点操作对图形对象的属性进行赋值和修改。此外,还对系统的绘图效率、易用性和自然性等方面进行了测试,指出了其中存在的一些问题和难点,提出了CAD系统多通道用户界面应该进一步研究和解决的关键内容。     

多通道用户界面中的目标选择技术

1 引言国内外近年来兴起的多通道用户界面研究强调:(1)多个通道以并行、协作的方式工作;(2)以充分性代替精确性,通常允许不精确的输入信息。其中,允许不精确输入进入人机交互过程是多通道用户界面的显著特征之一,它意味着可以消除不必要的精确性,从而大大降低用户的认知负担。然而,目前国内外提出的多通道整合算法在处理手段和算法实现方面基本上沿用传统的精确方式,使得问题和方法配合方面存在一些不足。本文提出利用模糊数学理论解决多通道用户界面整合中目标指称这一关键问题,可以更好地实现对不精确信息进行整合。