基于手势和草图的概念设计协同交互的研究

基于手势和草图的交互模式提供了一种自然和谐的方式来支持概念设计协同操作,促进协同工作系统的发展与应用．基于以用户为中心的设计,比较了不同方式的概念设计过程,提出了基于手势和草图的协同设计方法,进一步讨论了以草图为设计过程中的信息载体,分析了草图信息模型;基于手势操作,提出了协同上下文感知的概念和协同设计上下文描述模型;最后分析并给出面向同步编辑的草图交互设计和双向约束求解方法．所提出的协同设计方法自然简便,提高了设计效率,改善了人机交互方式．     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标,以笔式交互在虚拟家居设计系统中的应用为主要研究内容,将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合,并利用已有的手势识别技术,系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术,具体包括：建立了手势知识库,研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等,为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用,并取得较好的效果。     

支持概念设计的特征手势建模

给出了特征手势的概念并且建立了特征手势库,描述了基于特征手势的建模过程;进一步讨论了特征手势内部的约束建立和求解算法以及上下文感知技术,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性．文中算法以用户为中心,给出了自然简便的设计工具,改善了人机交互方式．     

基于笔式交互的中文字处理系统:SketchEditor

纸笔是人们日常生活中常用的交流方式之一。但传统的纸笔工具有许多缺点,如纸上记录的内容难以修改和再加工,大量的信息缺乏有效的维护和检索等等。然而,纸笔工作方式的这些弱点却正好是计算机在信息处理方面的优势。笔式界面的研究就是要将这些传统的工作可计算化并且保持传统工作方式的自然性。本文的研究中,通过笔设备的输入事件描述了文本输入、编辑等交互任务,并且结合改进后的Rubin 识别算法和基于规则的识别等方法,模拟人们日常生活中纸———笔工作方式,设计实现了以用户为中心的新型笔式文本编辑器。     

整合概念设计与详细设计过程的笔式CAD系统研究

目前存在的CAD系统由于交互方式不自然,交互效率低,缺乏对概念设计中模糊信息的支持,中断了设计信息流,导致概念设计与后续设计过程断裂,增加了设计周期和工作量。针对当前CAD系统的不足,提出对于支持概念设计的笔式CAD系统的研究,并探讨实现这样一个系统的问题及解决。其目的在于通过高效地使用当前的手势识别和草图识别技术,支持用户从开始的模糊意图所产生的随手笔画,到最后进行精确定位和绘制,使概念设计与详细设计过程整合,减少工作量和缩短设计周期。     

笔式用户界面交互信息模型研究

笔式用户界面是Post-WIMP界面的重要形态,在许多领域得到广泛应用.笔式界面设计需要设计者和用户的共同参与.捕获用户使用意图是设计笔式用户界面的前提,连接交互信息的表示与控制则是成功构造界面的关键.依据笔式交互信息连续性及模糊性特征,从设计参与者与交互信息管理两个维度建立了笔式用户界面交互信息模型OICM(orthogonal interaction information architecture coordinate model).从问题知识域、交互任务、规则集合以及上下文关联4个不同的象限对模型进行了详细的描述,并给出了基于XML的实现方法.在对模型进行分析后,介绍了基于OICM模型的开发平台和应用系统实例.     

整合概念设计与详细设计过程的笔式CAD系统研究

目前存在的CAD系统由于交互方式不自然,交互效率低,缺乏对概念设计中模糊信息的支持,中断了设计信息流,导致概念设计与后续设计过程断裂,增加了设计周期和工作量。针对当前CAD系统的不足,提出对于支持概念设计的笔式CAD系统的研究,并探讨实现这样一个系统的问题及解决。其目的在于通过高效地使用当前的手势识别和草图识别技术,支持用户从开始的模糊意图所产生的随手笔画,到最后进行精确定位和绘制,使概念设计与详细设计过程整合,减少工作量和缩短设计周期。     

基于手绘草图的概念设计工具研究与设计

从认知心理学的角度,研究了概念设计的过程,探讨性地指出辅助设计工具应当以灵感为中心。阐述了适合概念设计过程的新的设计方法和交互技术,并介绍了基于手势的草图技术及新一代交互范式——PIBG交互范式。全面分析了约束捕捉、约束求解等关键问题,最后在此基础上给出智能图板系统的设计与实现,为用户提供了一种自然和谐的界面。     

基于笔式交互的农产品信息采集系统的研究与设计

在传统的农产品信息采集与发布过程中用户通常只能使用人工采集,之后二次录入计算机的方式,造成了资源的浪费;采用基于WIMP交互范式的界面软件分散了用户的注意力,给用户带来认知负担。针对此问题,本文基于笔式交互技术中的PGIS交互范式,结合笔式电子表单技术设计并实现农产品信息采集与发布系统。该系统有效地结合了笔交互自然、高效的特点和计算机强大的处理能力,具有较好的应用前景。     

基于肌肉感知的手势交互模型

在人机交互技术由以计算机演化为以人为中心的背景下,通过感知肌肉活动的手势识别方法,因其可穿戴性、隐式交互性和可靠性的特点在近几年得到了人机交互研究领域的高度关注.但目前的相关研究缺乏统一的语义分析模型和系统模型支持研究和开发.为此,分析讨论了交互手势的分类并归纳总结出适合肌肉感知方法的输入原语,提出基于肌肉感知的手势交互语义分析模型和分层处理的系统结构模型,旨在提高该类型交互应用的研究和开发工作效率.最后分析了办公室环境下的操作手势交互应用场景,给出了该语义分析模型和分层系统结构模型的应用实例.     

基于手势输入构造三维概念模型的研究进展

综述了国内外基于手势输入构造三维概念模型的最新研究进展,讨论分析了手势交互过程及其关键技术：手势设计、手势识别、手势交互的层次结构以及手势交互的三维实现．最后对今后的发展方向进行了展望．     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

在线双向适应的笔手势界面框架研究

提出一个在线双向适应的笔手势界面框架,该框架针对传统笔手势界面中静态手势识别器不能支持用户的个性化输入以及用户在笔手势界面中面临的手势记忆问题,提出了在线双向适应的策略:一方面系统能够适应用户(系统可以在线支持用户的个性化输入);另一方面用户可以学习系统(用户可以学习系统提供的某些笔手势).该框架包括5个部分:(1)双向适应笔手势输入解释模型;(2)双向适应笔手势输入解释流程;(3)上下文优先级定义;(4)纠错和模糊消解界面;(5)在线笔手势查询帮助系统.在该框架的指导下作者开发了一个原型系统并进行了对比实验评估.结果表明该框架在可用性上具有较大的优势.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于动态手势的人机交互系统的研究与设计

该系统是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统;手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件;上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实际检测达到了理想的设计要求。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于笔交互的表格制作

利用笔交互技术实现了表格的正式制作和草图制作,满足不同用户和不同应用的需要.提出了一种基于推理的自适应字线分离方法,首先通过上下文分析和全局分析来获取笔画的字特征和框线特征,然后对这2个特征进行综合评判来分离字线,通过交互来纠正分离错误.该方法实现了草图表格到正式表格的转换,增强了表格制作的灵活性.