一种新的人机界面—PUIs

长期以来。图形用户界面（GUIs)一直是人机交互（HCI）的主流平台,GUI风格的交互让用户使用计算机时更为方便,尤其对于办公自动化应用,然而,随着人们使用计算机方式的变化以及计算任务种类和数量的大量增加,GUIs已经很难实现满足用户需求所必需的所有交互形式,为了适应更广的情况,人们需要一种更自然、更直观、能自适应、更易为人们接受的界面形式。于是,感知用户界面（PUIs-Perceptual User Interfaces)成为人机界面中的机关报热点,其主要目的是使人机交互更像人与人之间的交互以及人与世界的交互,本文介绍了蓬勃发展的PUI领域,然后简要介绍了三个基于视觉技术的实际系统。     

运动传感驱动的3D直观手势交互

为了使手势交互方式较少受到场地和光线的限制,提出利用加速度传感器作为输入设备进行手势识别的方法.对每种手势只要求用户做一次示范表演,通过添加噪声等手段来提高训练数据生成的自动化程度;将训练数据经过预处理和特征提取之后用于训练机器学习模型(隐马尔科夫模型和支持向量机).在包含70种手势的测试集上进行实验,平均识别率超过90%;并开发了幻灯片手势控制和手势拨号2个基于手势的人机交互原型系统,结果表明文中方法能够显著地提升用户在人机交互中的体验.     

一种简单的人机交互手势识别算法

提出了一种简单的人机交互中的手势识别算法,该算法基于模仿人眼的双摄像头,根据双摄像头获取的视频流,通过该算法即可识别出运动手势的十个运动方向.算法所需内存空间小,运行速度快,可以作为一个很好的功能模块嵌入在其他的人机交互系统中.     

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法。根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH（成对几何直方图）的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求。     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

基于压缩感知的实时手势检测和跟踪算法

基于计算机视觉的实时手势检测与跟踪算法是人机交互领域的一项关键技术,传统的手势检测与跟踪算法将检测和跟踪分成两个独立的模块进行,检测与跟踪结果受手势姿态变化、目标遮挡、运动模糊以及外界环境干扰等因素的影响。提出了一种基于压缩感知的实时手势检测和跟踪算法,将基于检测得到的手势信息与基于压缩感知跟踪算法得到的目标信息进行有效融合,从而实现有效的手势检测与跟踪,与传统算法相比,该算法能实现手势跟踪自动初始化和跟踪错误后自我恢复功能。实验结果表明,提出的算法能对手势运动进行快速、连续、准确的识别,满足人机交互的要求。     

一种基于加速度特征提取的手势识别方法

随着智能手机等移动电子设备的发展,基于MEMS加速度传感器的手势识别成为移动设备人机交互的研究热点。由于准确率及实时性的限制,目前的手势识别方法仍不足以推向实用。针对这一问题,提出了一种简单有效的手势识别方法:在手势定义阶段根据语义及操作的相似性将10个手势分为4个类别,通过提取反映各类手势运动学特征的加速度特征量,利用决策树分类器对手势进行预分类,然后根据各类手势的加速度变化规律识别具体的手势;同时通过严格的特征量阈值,有效地去除了无意识的误动作。该方法在15位实验者中获得了95.2%的平均准确率,识别时间小于0.01 s,对基于MEMS加速度传感器的手势识别研究具有一定参考价值。     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

一种基于嵌入式系统实时交互的手势识别方法*

提出了一种在单摄像头条件下基于嵌入式系统的手势识别方法。通过拟合手势图的外接多边形,找出其所对应的手势缺陷图,并建立手势与手势缺陷图的一一映射,利用手势缺陷图的特征来匹配和识别不同的手势。算法还将手势的跟踪与识别有机地统一起来,通过预测下一帧中手势出现的粗略位置大大降低识别步骤的计算量。该算法在实际应用的嵌入式平台下,能快速、准确地实现手势的识别,能够满足实时人机交互的要求。     

一种新的面向电影场景搭建的自然手势交互方法

电影虚拟预演所需的三维场景搭建要求能够高效地初步将导演的构想付诸于影像,但传统计算机辅助设计工具的交互方式存在效率低的问题,限制了导演等非专业三维设计人士的场景构思.因此提出一种新的面向电影场景搭建的自然手势交互方法.根据电影虚拟预演特性和相关手势理论,设计一组有效的三维场景搭建手势集;在Unity3 D中构建基于虚拟现实的电影场景搭建徒手手势用户界面;通过用户实验对该方法进行评估,实验结果表明该方法是可行的,相比传统方法更具有自然易用性.     

基于视觉的感知用户界面(VBPUI)研究

图形用户界面（ＧＵＩｓ）是当今人机交互技术（ＨＣＩ）的主要平台,它使得普通人都会使用计算机,然而,为了适应更广泛的应用,人机交互技术需要向自然、直观、自适应的交互界面发展,而感知用户界面（ＰＵＩ）交互技术正是为为实现这一自然交互模式,而成为人机交互研究的焦点,通过对新兴的ＰＵＩ领域及其重要分支－基于视觉界面（ＶＢＩ）的介绍,阐述了利用头部定位与手的跟踪来实现ＶＢＩ的方法,提出了在实学方法中,要进行     

基于视觉的互动游戏手势界面工具箱

分析了视觉手势的交互特征,提出了非接触型设备交互模型,基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉手势信息的处理流程,基于"paint-view-correct"隐喻构建了手势界面开发工具IEToolkit.系统的主要特点包括:使用插件设计思想提供了可扩展的接口,方便开发人员对系统进行扩展:实现了对平台...     

一种模型驱动的交互式信息可视化开发方法

设计与实现面向领域应用的交互式信息可视化软件十分困难.缺乏统一的开发方法与支撑工具箱,为非专家用户提供对层次、网络、多维等数据类型的统一支持,对各种可视化技术与交互技术的统一支持,以及对信息可视化任务的统一支持针对此问题,提出了一种模型驱动的交互式信息可视化开发方法Daisy.首先,提出了交互式信息可视化界面模型IIVM(interactive information visualization interface model);然后,提出了基于IIVM的交互式信息可视化开发方法Daisy,讨论了该方法的两个核心技术:IIVM建模与描述文件生成方法、系统自动生成方法.同时。给出了Daisy工具箱,包括Daisy建模工具、Daisy系统自动生成工具以及运行时框架与组件库.最后,给出了该开发方法与工具箱的应用实例.实例表明,该方法能够为交互式信息可视化开发的统一支撑方法问题提供一种有效的解决方案.     

连续形变图像的追踪识别算法及其在手势识别系统中的应用研究

提出了一种连续形变图像的追踪识别算法，通过引入网格等基本概念，建立了一套基本理论，通过揭示网格与连续形变之间的内在联系，避免了传统方法中复杂的拓扑分析．该算法把追踪与识别过程有机地统一起来，既具有一定的理论基础，叉可以灵活地满足工程中不同的精度需要．最后讨论了该算法在手势识别系统中的应用．实验表明，算法取得了令人满意的灵活性、适应性和时间复杂度．     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

符号学在人机交互中的应用

网络技术和多媒体技术的发展,从硬件上促使了人们交互方式的转变和交互需求的提高。针对人机界面设计这一"软件",文章将符号学的理论和观点引入到人机交互的工程应用中,说明了符号学的成功应用可以明显的提高人机界面的设计质量,提高人机交互的效率。     

多重触控技术研究综述*

多重触控技术提出一种以用户为中心的自然高效的交互方式,它在个人便携式信息产品、公共信息查询、教育、游戏、展览、指挥决策等领域都具有广泛的应用前景。对多重触控技术近年来的发展进行了比较详细的论述,根据硬件平台的分类分析了该方向的进展情况,并对当前该研究方向上的主要研究内容和未来研究趋势进行了比较详细的分析。     

面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。