动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用:首先阐述手势交互的核心概念,...     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

基于手势输入构造三维概念模型的研究进展

综述了国内外基于手势输入构造三维概念模型的最新研究进展,讨论分析了手势交互过程及其关键技术：手势设计、手势识别、手势交互的层次结构以及手势交互的三维实现．最后对今后的发展方向进行了展望．     

移动设备笔式编辑系统PenEditor的结构设计

随着移动计算和便携式设备的出现以及笔交互设备的普及,迫切需要研究适用于笔交互方式的应用软件。研究实现了一个基于笔输入方式的文本输入、编辑系统,利用人们日常生活中的纸笔交互方式和编辑习惯,完成文本输入、修改等任务,试图建立一个以用户为中心,符合人们日常生活、交流方式的工作环境。由于移动设备跨平台使用的特点,文件存取采用XML格式,所有笔迹信息统一存储在同一个结构已预定义的XML文件中。     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。     

基于文本域分割和文本行检测的扭曲文档图像校正

针对由照相机拍摄的文档图像可能存在倾斜或扭曲变形而导致光学字符识别(OCR)软件不能正确识别的情况,图像的校正处理方法研究变得越来越有必要.文中,首先采用文本域分割将文本分割为多个连通域,每个连通域包含一个字,标记出连通域的上、下、左、右边界,通过这些边界的联系检测出文本行;其次根据文本行首个连通域检测出校正基准线;最后根据校正基线和垂直位移距离分别对文字进行位移而得到校正后的图像,从而可以被光学字符识别软件识别.     

在线双向适应的笔手势界面框架研究

提出一个在线双向适应的笔手势界面框架,该框架针对传统笔手势界面中静态手势识别器不能支持用户的个性化输入以及用户在笔手势界面中面临的手势记忆问题,提出了在线双向适应的策略:一方面系统能够适应用户(系统可以在线支持用户的个性化输入);另一方面用户可以学习系统(用户可以学习系统提供的某些笔手势).该框架包括5个部分:(1)双向适应笔手势输入解释模型;(2)双向适应笔手势输入解释流程;(3)上下文优先级定义;(4)纠错和模糊消解界面;(5)在线笔手势查询帮助系统.在该框架的指导下作者开发了一个原型系统并进行了对比实验评估.结果表明该框架在可用性上具有较大的优势.     

针对老年用户的智能家居系统中的手势交互集研究

本研究的目的针对老年用户的需求,针对智能家居系统中的常见任务,基于用户综合评分、专家分析的综合考虑创建三维手势集。通过建立让用户参与手势设计的实验,指导受试者针对常见的人机交互任务开发手势,并根据偏好度、困难度、匹配度和易记忆性等四个方面进行综合评分及后期专家研究。得到了一组应用于智能家居系统并适应老年人用户群体的三维任务手势词典,发现了三个主要特征：用户在手势的创建中有偏向使用日常生活动作;习惯双手协同;少数用户的手势可能更加适宜。     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点.基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动.文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法.     

计算机手势输入及其在人机交互技术中的应用

本文简介计算机手势识别技术的基本手段,方法和技术,讨论手势作为人机交互通道所具有的特点,并介绍作者在多通道用户界面的研究中实现的对手势的整合技术。     

支持向量机在文本特征提取中的应用研究

在文本自动分类中,针对如何进行文本特征的选择和提取这一关键和基础性工作,提出用支持向量度量词汇对分类的贡献,然后进行文本特征的提取。实验结果表明,该方法可以在确保分类信息不损失的前提下,降低向量空间的维数,提高分类器效率和分类准确率。     

基于层次特征提取的文本分类研究

随着信息技术的发展,文本信息数据正在爆炸式增长,从众多的文本数据中有效地获取有用信息是一个值得研究的问题。针对该任务提出基于层次特征提取的文本分类模型,考虑文本中句子级别的语义内容以及文本级别的语义内容,依次使用两种神经网络模型建模句子级的语义内容和文本级的语义内容,从而得到关于文本的全面特征,进而基于此特征对文本进行分类。实验结果表明,该方法能够更加准确地提取文本的特征,具有更高的分类准确度。     

结构分类的字母手势识别算法

提出了基于结构分类的手势识别方法,即在字母手势图像中寻找轮廓所包含的结构特征信息,并以此进行分类判断。这些结构特征中包含了大量的特征信息,如手指个数、手指间距离等,利用这些信息就可以运用传统的结构分类方法对手势加以识别     

Analysis of composite gestures with a coherent probabilistic graphical model

Traditionally, gesture-based interaction in virtual environments is composed of either static, posture-based gesture primitives or temporally analyzed dynamic primitives. However, it would be ideal to incorporate both static and dynamic gestures to fully utilize the potential of gesture-based interaction. To that end, we propose a probabilistic framework that incorporates both static and dynamic gesture primitives. We call these primitives Gesture Words (GWords). Using a probabilistic graphical model (PGM), we integrate these heterogeneous GWords and a high-level language model in a coherent fashion. Composite gestures are represented as stochastic paths through the PGM. A gesture is analyzed by finding the path that maximizes the likelihood on the PGM with respect to the video sequence. To facilitate online computation, we propose a greedy algorithm for performing inference on the PGM. The parameters of the PGM can be learned via three different methods: supervised, unsupervised, and hybrid. We have implemented the PGM model for a gesture set of ten GWords with six composite gestures. The experimental results show that the PGM can accurately recognize composite gestures.     

Using cursor measures to investigate the effects of impairment severity on cursor control for youths with cerebral palsy

Individuals with upper limb impairments due to cerebral palsy encounter difficulties when using pointing devices and can be limited in communicating and accessing education tools through computers. Analysis of cursor trajectories can identify some of the factors limiting cursor movement, and provide a better understanding of human movement to assist in designing accessible computer interfaces. This study evaluated cursor trajectories from 29 individuals with bilateral cerebral palsy (CP) and different levels of function. The functional level was classified based on the MACS (Manual Ability Classification System). Results show that the contributors to a model that assesses different MACS levels are the movement time, acceleration–deceleration cycles and average speed. The model appears unaffected by accuracy measures. For both typically-developed youth and participants with CP, a good model of index of difficulty must include the following predictors: rapidity – movement time, average speed, zero acceleration crossings and accuracy, trajectory distance, linearity index, and indices of vertical and horizontal components. Models for those who are typically-developed should also include an index of diagonal component and curvature index.