以儿童为中心的情景式人机交互方法

通过分析儿童绘画过程中的心理过程和行为特点,提出了一种以儿童为中心的情景式人机交互方法,并成功应用到计算机辅助儿童绘画系统中.该系统采用三维技术模拟现实中的绘画场景,并且集合了笔、语音以及摄像头等多通道交互技术以提高交互效率.系统通过提供写生、临摹等功能,让儿童在享受绘画乐趣的同时提高绘画技能.     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

基于Quest3D的虚拟中药药材展示系统研究与实现

随着计算机软硬件和虚拟现实技术的发展,运用虚拟现实技术辅助规划设计和展示已成为该领域的研究热点.本文介绍了一种基于虚拟现实软件实现的虚拟药材展示系统的设计方法,即利用三维建模软件3ds max进行三维实体及场景建模,采用虚拟交互平台Quest3D为场景驱动.本文以应用该方案实现的虚拟药材展示系统为例,重点介绍了系统架构和实现的技术流程,并对实现过程中的场景建模技术、交互设计中的图形化设计方法以及增强场景真实感方法做了深入的阐述.     

三维交互任务的描述和结构设计

主要讨论了三维交互中交互任务的归纳描述和结构设计问题.首先归纳出三维交互中的基本交互任务和普遍交互任务,对二者之间的联系进行了描述,提出了一个三维交互任务的产生框架,最终建立起三维交互中通用的核心模块.三维交互核心模块描述了三维交互中通用的底层结构,模块中定义了三维交互中通用的一系列交互原语和交互任务,实现了原语的产生和任务的整合工作.在开发三维用户界面构造系统(3D UI toolkit或3D UIMS)或具体的三维/虚拟现实应用时,可以直接用它来建立系统的底层交互结构,而程序员将只关注于交互风格的建立等高层工作.     

基于人工智能技术的新媒体交互艺术表达设计

由于新媒体交互元素提取速度低,灵活性差,新媒体交互艺术表达效果降低,对此,基于人工智能技术提出一种新的新媒体交互艺术表达方法,通过分析新媒体交互艺术主要的表达场景,即用户信息传达场景、新媒体交互艺术推送场景、交互艺术推广场景和个人服务场景,为交互表达提供场景应用基础,计算空间复杂度、空间复杂度和资源复杂度,根据复杂度计算结果,从视觉元素、多媒体元素、人机交互元素三个方面进行交互设计,在实现交互后整合拓扑结构,在新媒体网络拓扑结构显示与控制上实现多媒体元素交互艺术的表达.实验结果表明,基于人工智能技术的新媒体交互艺术表达方法交互元素提取速度提高了30％,灵活性更强.     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

基于Web的实时虚拟仿真系统研究与实现

根据真实场景设计数据库,并将场景信息的变化实时地更新到数据库中.将虚拟现实技术和计算机仿真相结合,基于该数据库建立基于W eb的实时虚拟仿真系统.实时生成场景过程中,根据真实物体在数据库中的位置信息对场景中的虚拟物体进行定位.此外,采用了VRML与JAVA通信的技术为虚拟场景提供交互功能,使用户可以通过网络查询到场景的实时信息.     

面向指-笔混合输入的交互原语和交互模型研究

随着触摸设备的普及, 指、笔输入已成为移动办公的一种主流输入方式. 然而现有的应用主要以手指或笔通道中的一种作为输入, 限制了用户的交互空间. 同时, 现有的指-笔混合研究主要关注串行的指-笔分工协作和特定交互任务的并行处理, 并没有系统地考虑并行协作机制和不同通道输入之间的意图关联. 为此, 提出一种面向指-笔混合输入的交互模型; 结合用户指-笔协作的行为习惯定义指-笔混合交互原语, 拓展指、笔交互空间; 继而利用部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法, 用以增量式地提取多义性交互原语的交互意图. 最后通过一个用户实验说明指-笔混合输入的优势.     

基于虚拟现实技术的林区交互系统研究与实现

林木场景复杂的地理地形特点和林木本身复杂的结构,使得基于林木场景的实时虚拟交互漫游在可视化的基础上对系统提出了更高的要求.在针对问题研究的基础上,提出了一种基于软件实现的林区虚拟交瓦系统的设计方法,即利用三维建模软件3ds max来进行三维视景模拟,采用虚拟交瓦平台软件Virtools进行场景驱动.通过利用软件自带的一些功能和应用技巧,可以最大限度发挥软件的优化作用来解决真实感与实时交瓦的矛盾.介绍了系统实现的框架和技术流程,并对实现过程中的场景建模技术、交互设计中的图形化设计方法以及场景优化技术做了深入阐述.经过鹫峰林区的应用,验证方法可行.     

Designing for pen and speech input in an object-action framework: the case of email

This study presents a user interface that was intentionally designed to support multimodal interaction by compensating for the weaknesses of speech compared with pen input and vice versa. The test application was email using a web pad with pen and speech input. In the case of pen input, information was represented as visual objects, which were easily accessible. Graphical metaphors were used to enable faster and easier manipulation of data. Speech input was facilitated by displaying the system speech vocabulary to the user. All commands and accessible fields with text labels could be spoken in by name. Commands and objects that the user could access via speech input were shown on a dynamic basis in a window. Multimodal interaction was further enhanced by creating a flexible object-action order such that the user could utter or select a command with a pen followed by the object which was to be enacted upon, or the other way round (e.g., New Message or Message New). The flexible action-object interaction design combined with voice and pen input led to eight possible action-object-modality combinations. The complexity of the multimodal interface was further reduced by making generic commands such as New applicable across corresponding objects. Use of generic commands led to a simplification of menu structures by reducing the number of instances in which actions appeared. In this manner, more content information could be made visible and consistently accessible via pen and speech input. Results of a controlled experiment indicated that the shortest task completion times for the eight possible input conditions were when speech-only was used to refer to an object followed by the action to be performed. Speech-only input with action-object order was also relatively fast. In the case of pen input-only, the shortest task completion times were found when an object was selected first followed by the action to be performed. In multimodal trials in which both pen and speech were used, no significant effect was found for object-action order, suggesting benefits of providing users with a flexible action-object interaction style in multimodal or speech-only systems.     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

手持移动设备中多通道交互的通用开发框架

提出的多通道交互通用开发框架可以快速地开发出支持多通道交互的应用,也可以将已经存在的应用快速更改为多通道交互应用;基于此理论,设计和实现了一种支持手写笔和语音输入的多通道家电开关控制系统.具体地阐明了实际开发中应该重点注意的环节,希望能够对当前手持移动设备的多通道交互化有所借鉴.     

笔式三维草图绘制中的轮廓线技术研究*

详细介绍了三维模型轮廓线技术及其检测算法,并深入分析了轮廓线技术在三维草图绘制中的作用;然后设计并实现了一个三维草图绘制系统。该系统提供了用笔绘制三维模型的交互环境,通过轮廓线将三维模型与二维交互手势联系起来,使用户可以自由灵活地操纵和控制三维模型,获得自然、高效的交互体验。     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标,以笔式交互在虚拟家居设计系统中的应用为主要研究内容,将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合,并利用已有的手势识别技术,系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术,具体包括：建立了手势知识库,研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等,为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用,并取得较好的效果。     

会议中群体交互语义的获取方法研究

会议是人们日常生活中不可缺少的重要活动,是解决问题、交换信息、共享和创造知识的重要途径,因此智能 会议系统是当前学术界和产业界研究的热点之一。但当前的智能会议系统主要集中于物理交互的识别与可视化研究 上,对会议中群体语义交互的研究相对较少。群体语义交互是指参会人员针对当前主题所做出的具备语义的交互活 动。采用朴素贝叶斯模型,通过对会话中的头部动作、关注度、语气、说话时间长度、交互时机、上次会话角色类型和会 话关键词等7个特征属性进行处理,设计并实现了一种会议中群体交互语义的获取方法。实验表明,利用该算法,群 体交互语义的识别准确率可以达到80.100,该算法具有一定的有效性。     

Accelerometer-based gesture control for a design environment

Accelerometer-based gesture control is studied as a supplementary or an alternative interaction modality. Gesture commands freely trainable by the user can be used for controlling external devices with handheld wireless sensor unit. Two user studies are presented. The first study concerns finding gestures for controlling a design environment (Smart Design Studio), TV, VCR, and lighting. The results indicate that different people usually prefer different gestures for the same task, and hence it should be possible to personalise them. The second user study concerns evaluating the usefulness of the gesture modality compared to other interaction modalities for controlling a design environment. The other modalities were speech, RFID-based physical tangible objects, laser-tracked pen, and PDA stylus. The results suggest that gestures are a natural modality for certain tasks, and can augment other modalities. Gesture commands were found to be natural, especially for commands with spatial association in design environment control.     

基于笔式交互的农产品信息采集系统的研究与设计

在传统的农产品信息采集与发布过程中用户通常只能使用人工采集,之后二次录入计算机的方式,造成了资源的浪费;采用基于WIMP交互范式的界面软件分散了用户的注意力,给用户带来认知负担。针对此问题,本文基于笔式交互技术中的PGIS交互范式,结合笔式电子表单技术设计并实现农产品信息采集与发布系统。该系统有效地结合了笔交互自然、高效的特点和计算机强大的处理能力,具有较好的应用前景。     

移动设备笔式编辑系统PenEditor的结构设计

随着移动计算和便携式设备的出现以及笔交互设备的普及,迫切需要研究适用于笔交互方式的应用软件。研究实现了一个基于笔输入方式的文本输入、编辑系统,利用人们日常生活中的纸笔交互方式和编辑习惯,完成文本输入、修改等任务,试图建立一个以用户为中心,符合人们日常生活、交流方式的工作环境。由于移动设备跨平台使用的特点,文件存取采用XML格式,所有笔迹信息统一存储在同一个结构已预定义的XML文件中。