手势语言在自然用户界面中的应用

自然交互方式的概念首先起源于人机交互的研究领域,即所谓的自然用户界面。自然用户界面指的是一种对用户隐形计算机用户界面,它基于用户最自然的操作方式,比如动作、手势、语言等来操作计算机,摆脱鼠标和键盘的束缚。手势语言在自然交互界面中的应用较于传统的输入方式优势相当明显,并且已经得到了广泛应用。     

空间三维非接触式多点触摸系统的设计与实现

针对现有大屏幕触摸定位系统必须通过接触屏幕表面实现触摸控制,而且难以识别触摸体的颜色、大小和形状,更难识别操作者的手势动作意图,设计一种空间三维非接触式多点触摸定位的人机交互系统,能够识别空间和大屏幕表面多个触摸体的运动轨迹、颜色和形状,实现在二维和三维显示屏上写字,模拟鼠标操作,还能够对显示内容进行缩放、旋转等多种手势输入识别。本系统成功实现在大屏幕前方空间三维区域内非接触式的触摸控制。     

联想采用PRoC-UI实现Windows 8触摸手势功能——解决方案节约BOM成本和电路板空间

赛普拉斯半导体公司日前宣布，全球领先的PC供应商联想已在其新款无线触控鼠标SmartTouch N800中采用赛普拉斯的PRoC^TM-UI（可编程片上射频一用户界面）解决方案。PRoC-UI解决方案能以卓越的触控性能，支持Windows8标准手势和用户定制的手势，实现常用功能，同时具有业界最佳的无线连接性和微控制器（MCU）功能。通过在同一颗芯片上集成上述所有功能，不但降低了材料成本，还节省了电路板空间，因而能够设计出外形流畅的鼠标。     

手势识别交互在移动端APP中的应用研究

计算机视觉技术的进步让智能设备能准确识别人类手势,从而衍生出让用户在无穿戴设备条件下直接用手势向计算机输入命令的交互方式。为探索手势识别交互应用在移动设备中的实机表现与发展前景,文章以Unity3D（优美缔）游戏引擎为开发平台,辅以增强现实与手部识别工具包,设计了一套适用于手势识别交互的操作手势,并以此开发了一个以线下超市购物为用户场景的移动端APP。通过对该APP的测试与深度体验,作者们分析了手势识别交互模式的优劣势及实用价值。     

手势识别技术及其在人机交互中的应用

手势是一种自然、直观、易于学习的人机交互手段。手势输入是实现自然，直接人机交互不可缺少的关键技术，目前的手势识别技术主要分为基于数据手套和基于视觉两种，这两种方法各有自己的长处，也都取得了一些研究成果，但都还不成熟，手势输入作为一种自然、丰富、直接的交互手段在人机交互技术右占有重要的地位。     

基于计算机视觉的手势识别人机交互技术

随着数字媒体技术的广泛应用及飞速发展,人们希望能够更有效更自然地与计算机进行交流。虽然新的硬件和应用领域不断涌现,而人们熟悉和熟练掌握的人机交互方式仍然局限于键盘、鼠标等,但它们限制了人机交流的速度和自然性。基于视觉的手势识别就成为了实现新一代人机交互不可缺少的一项关键技术。借助计算机视觉,数字图像处理,模式识别等理论与技术,使得计算机通过视觉通道(摄像机)正确感知输入的手势语,同时作出用户所需要的响应,以实现自然的人机交互。     

人体数据驱动的鼠标形态概念设计

目的 为适应不同人群的手型和使用鼠标时的操作习惯,构建数据驱动的形态生成系统,辅助设计师进行鼠标形态创新设计,有效提升鼠标形态方案的人机合理性。方法 采用实验测量方式提取用户使用鼠标时的特征形态数据,利用参数化脚本技术模拟用户使用鼠标场景,包括用户操作方式、手型尺寸等,探索手部行为与鼠标形态的人机关系,构建一种人体数据驱动的鼠标形态生成系统,对获取的方案进行实体评估验证。结果 利用人体数据驱动可生成多款鼠标形态,算法生形具有良好的适应性。结论 基于Grasshopper建立的用户行为模拟器可有效探索用户在使用鼠标时的行为方式,构建的鼠标形态生成算法具有快速响应特征,可依据用户手势行为进行鼠标形态设计,快速获得适合用户的概念形态方案。     

基于人体工程学"鼠标"的调研与评价

1.鼠标的起源与发展 鼠标是大家生活中常见的物品,只要用电脑就一定会用到鼠标.鼠标是计算机的辅助设备,具有显示计算机系统纵横坐标定位的功能,因其外型酷似老鼠得名"鼠标"1-3]."鼠标"的官方命名是"鼠标器",英文名"Mouse",鼠标的出现代替键盘指令的繁琐,使计算机的输入操作更加方便快捷.鼠标诞生于1964年,由加州大学伯克利分校道格拉斯博士(Douglas Engelbart)创造的.当时正在斯坦福赞助的研究所工作的道格拉斯,一直在考虑使用什么方法,可以代替纯键盘的单调输入使计算机操作更加便捷.20世纪60年代初,道格拉斯在一次会议上勾画出了鼠标的原型,原型鼠标是一个底部有两个垂直轮子的小木盒子.在1964年,道格拉斯博士完善了原型鼠标,创造了第一个鼠标.因此道格拉斯也被称为"鼠标之父".随着科技的发展,鼠标的种类也分为很多种,大部分被分为普通光电鼠标、激光鼠标、游戏鼠标和指纹鼠标.     

中国手语手势词识别的一种快速方法

选取Cyberglove型号数据手套作为手语输入设备,采用DGMM（Dynamic Gaussian Mixture Model)作为手势词识别技术,提出了基于相对熵的搜索策略,并将其应用于基于半连续DGMM的手势词识别中以提高手势词识别速度。实验结果表明,采用搜索策略后手势识别效果与原来相当,而识别速度提高了近15倍。     

基于情境模型的可穿戴设备手势交互设计

目的 以可穿戴设备人机交互系统与手势交互特点为出发点,研究并提出以情境模型为基础的可穿戴设备手势交互设计的方法,指导可穿戴设备的手势交互设计创新。方法 在情境设计理论研究和相关专业研究上,提取出与手势交互有关的环境情境、用户情境和设备情境等基本要素,以此梳理在可穿戴设备的人机交互过程中所包含的主体与客体因素,并立足用户体验,对可穿戴设备手势交互过程的信息输入与设备输出环节,分别提取手势交互的设计内容,阐述上述3种情境要素与可穿戴设备手势交互设计内容之间的映射关系,以可穿戴设备为目标对象,提出系统性和技术实现性并存,同时可以让用户达到较好使用体验的手势交互设计情境模型。结论 以某移动通信设备企业的手势交互定义项目为例,初步验证了以情境模型为基础的可穿戴设备手势交互设计的方法的有效性。     

可穿戴设备中手势交互的设计原则

目的对可穿戴设备在设计中的手势交互的设计原则进行研究。方法对国内外手势交互设备进行分析,总结了手势交互系统中技术的演进和手势交互的应用趋势,从而采用类比和归纳演绎法对手势在可穿戴设备中的应用进行研究。结论对可穿戴设备中手势交互的设计原则进行探究,将可穿戴设备的特性与手势操作的便捷性结合,融合多感官的协同作用,来获得积极的手势交互反馈结果,让用户获得更好的操作体验,从而提高用户对可穿戴设备的信任度和粘度,开拓可穿戴设备更广阔的市场空间。     

基于单目视觉的手势识别系统

在交互式图形学和虚拟现实的应用领域中,用户界面变得越来越重要。由于视觉是人类从外界获取信息的主要器官,人们希望计算机视觉在人机交互技术中发挥重要的作用。本文描述一个实时的基于视觉的手势识别系统,用于替代鼠标与计算机进行交互。与以前的工作不同,该系统仅用一个摄像机来实现多个手势的识别与跟踪,避免了多目视觉的特征匹配问题,进而提高了系统的稳定性和识别速度。进一步的实验证明,基于视觉的交互系统是一种自然舒适,符合人体器官的用户界面。     

加载LISP程序的全新CAD平台软件

近日,国内领先的CAD/CAM软件供应商中望软件对外公布了下一代中望CAD将引入鼠标手势功能,并采用更人性化的Ribbon界面风格。而对于下一代中望CAD,目前有更确切的消息:下一代中望CAD将被命名为中望CAD+。     

基于用户心理模型的移动终端手势操作研究

目的对现有移动终端中常见手势操作存在的问题进行研究,探索用户心理模型与手势操作之间的联系,研究基于用户心理模型的手势操作设计。方法通过对现有移动终端上常见手势操作的研究,从用户对手势操作的认知角度提出基于用户心理模型的手势操作设计方法。以目标定位人群的心理模型为基础进行手势操作设计,在用户使用产品的过程中不断重构、完善和优化用户已有的心理模型,使得用户能更快地理解、接受和使用产品中的手势操作。结论基于用户心理模型的同化和顺应过程,总结归纳出了手势操作设计中多要素和用户心理模型在设计全过程的具体应用,并提出了手势操作设计时的原则。     

多模态交互中的目标选择技术

目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论 在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。     

虚拟数字人手势交互设计

目的 设计一个通用、动态、自学习的虚拟数字人手势生成模型,为生成丰富情感表现力的虚拟数字人提供数据和模型基础.方法 首先总结隐喻手势的语义分类方法,构建手势的量化描述语言,为手势的语义可计算提供量化方法;然后构建针对不同应用场景的情感语料库,标注手势的情感、手势隐喻语义和手势的量化描述,挖掘不同场景下虚拟数字人的行为模式,为虚拟数字人手势生成研究提供数据基础;最终提出基于应用场景的虚拟数字人手势生成算法,建立抽象的交流意图与手势的物理实现之间的映射,为生成具有环境认知能力的虚拟数字人提供模型支持.结果 通过两个案例验证了该方法的有效性,解决了虚拟数字人对环境认知和互动不足的问题,使虚拟数字人具有了行为的交互性和思想的智能性.结论 研究成果可推动虚拟数字人技术的发展,为虚拟数字人在不同场景下的广泛应用提供数据和模型基础,具有广泛的学术意义和应用前景.     

交互界面输入模式对目标指点绩效的影响

目的 探索指点交互界面输入模式对目标指向与辨别反应任务绩效的影响。方法 28名被试采用凝视输入(驻留时间为400 ms/500 ms/600 ms/700 ms四个水平)、视线定位-按键确认输入(眼手双通道输入)、鼠标指点、触控板指点四种交互界面输入模式,完成辨别反应任务,基于任务完成时间、正确率指标对任务绩效进行评估。结果 鼠标指点交互界面输入模式和眼手双通道交互界面输入模式的正确率高且任务完成时间短。触控板指点也具有很高的正确率,但任务完成时间显著长于其它交互界面输入模式。驻留时间阈值对凝视输入模式下的任务完成时间影响较小,但对正确率的影响较大：当驻留时间为700 ms时,凝视输入的正确率与触控板、眼手双通道输入无显著差异;随着驻留时间的缩短,凝视输入模式下的正确率显著下降,特别是驻留时间从500 ms缩短到400 ms时,辨别反应任务的正确率急剧下降。结论 在辨别反应任务中,鼠标输入和眼手双通道交互界面输入模式的效能整体优于触控板指点和凝视交互界面输入模式;通过凝视交互界面输入模式进行目标辨别与选取时,推荐驻留时间设置不低于500 ms。     

车载信息系统三维手势交互产品设计研究

目的车载信息系统设计已成为汽车人机交互界面设计的核心,体感技术的应用作为一种更为自然的交互方式是汽车人机交互界面设计的重要研究领域。方法车载信息系统三维手势产品设计在已有的研究及应用基础上,以车载信息系统为载体,体感技术为工具,着重研究了三维手势交互在汽车驾驶环境下的操控方式,经过多次三维手势设计的迭代和相关技术平台的开发,设计搭建了可操作实体并进行了实车环境测试及技术调试。结论设计出了一套完整的基础性三维手势和与之相适应的车载信息系统产品实体。     

车内三维交互手势可用性评价研究

目的通过建立评价模型对手势进行评价,以此提高车内三维手势的可用性。方法研究三维手势的可用性基本理论及其在汽车中的应用现状,采用模糊综合评价法对车内三维手势的可用性进行评价,实现手势可用性的量化评价。通过对驾驶环境中的任务、用户、环境及用户参与等方面进行分析,提取可用性影响因素,经过删选合并确定评价指标,建立模糊综合评价模型。对车内音量调节功能的手势进行评价实践,通过对比评价结果,从备选手势集中确定最终手势。构建场景模拟实验,通过对比评价和实验两种方式对手势备选集的评价结果进行分析,证明评价模型的有效性。结论建立车内三维交互手势可用性评价指标体系和模型,对手势可用性进行量化评价,为车内手势的设计提供可参考的理论依据。     

基于数据分析的智能手表手势直觉化交互研究

目的对智能手表手势直觉化交互进行研究。方法以智能手表的交互方式为研究内容,针对智能手表的手势交互问题,利用用户定义法对智能手表的手势交互进行了研究。结论通过实验研究与数据分析,提出了一个智能手表手势交互的动作集合。让用户能够与智能手表进行直觉化的交互,提升用户体验。这套手势动作除了可以应用在智能手表或是迁移到其他可穿戴设备上外,也可以作为评价智能手表手势交互的一个参考标准。