三维手绘CAD系统的设计与表达

描述了一个基于手绘草图的三维设计系统,并给出了该系统的体系结构．该系统采用以草绘手势规则和草图语义自动机为基础的设计与表达的思路,描述了草图语义的获取、表达和理解方法,从而较好地支持了早期的三维产品概念设计．该系统以手写笔和手写板为交互输入设备,能够自然、高效地进行一些复杂的三维实体和三维场景设计．     

联机手绘草图的识别原理

本文对应用工程师在人机交互过程中的思维方式做了深入研究,在此基础上,开发了新型的联机手绘草图输入系统。我们开发的“草图设计和输入系统”能将CAD用户的许多创造性思维意念在屏幕上直观地体现出来,输入快且出错少。本文系统地介绍了这一系统的识别原理。     

基于二维手绘草图的三维形状检索

随着互联网上三维模型数量的迅猛增多,需要发展便捷、可靠的基于内容的三维形状(模型)检索引擎。手绘草图具有以视觉形象表达概念的能力,符合人类传递信息的习惯,因而成为三维形状检索的重要交互手段。然而,直接表达人类意识的二维手绘草图与标准的三维形状表达之间常常存在较大的语义鸿沟,这给基于手绘草图的三维形状检索带来很多技术难题。文章对基于手绘草图的三维形状检索相关背景以及技术进展进行了介绍,重点介绍了用上下文信息填补语义鸿沟的最新方法。     

笔式三维草图绘制中的轮廓线技术研究*

详细介绍了三维模型轮廓线技术及其检测算法,并深入分析了轮廓线技术在三维草图绘制中的作用;然后设计并实现了一个三维草图绘制系统。该系统提供了用笔绘制三维模型的交互环境,通过轮廓线将三维模型与二维交互手势联系起来,使用户可以自由灵活地操纵和控制三维模型,获得自然、高效的交互体验。     

基于草图的程序流程图自动识别翻译系统

手绘草图是人类一种自然而直接的思路外化和交互方式。介绍一个基于草图的程序流程图自动识别翻译原型系统——SketchFlow。基于对现有可利用的识别技术及流程图领域知识的综合分析,设计并实现了这个系统。该系统可以完成程序流程草图的识别及到相应C语言代码的自动翻译。     

基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

基于手绘草图的方案设计CAD系统

采用在线手绘草图识别和理解技术,设计并实现了一个支持用户流畅输人的二维方案设计CAD系统.该系统的主要特点体现在3个方面:采用一种基于曲率的笔画分割方法,能适应不同用户的输入习惯;提供了基于上下文的显著图符成组功能,可以支持用户方案构思过程中手绘输入的流畅性;引入主动纠错机制,提高了基于草图文法的图符识别效果.最后,用针对电路图设计所开发的原型系统验证了该方法的有效性.     

一个面向构思的手绘草图识别系统

手绘图形输入是用户设计意图的一种自然有效的表达方式。本文介绍了一个手绘图形识别系统-SketchEI。SketchEI由五个部分构成：用户交互、输入预处理、图形识别器、草图管理器以及用户适应性。SketchEI把它们有机地组合在一起并且给出了一个相对完整的手绘图形识别技术理论体系。     

整合概念设计与详细设计过程的笔式CAD系统研究

目前存在的CAD系统由于交互方式不自然,交互效率低,缺乏对概念设计中模糊信息的支持,中断了设计信息流,导致概念设计与后续设计过程断裂,增加了设计周期和工作量。针对当前CAD系统的不足,提出对于支持概念设计的笔式CAD系统的研究,并探讨实现这样一个系统的问题及解决。其目的在于通过高效地使用当前的手势识别和草图识别技术,支持用户从开始的模糊意图所产生的随手笔画,到最后进行精确定位和绘制,使概念设计与详细设计过程整合,减少工作量和缩短设计周期。     

Optimizing Heuristic Evaluation Process in E-Commerce: Use of the Taguchi Method

This article proposes a 3-dimensional (3D) vision-based ambient user interface as an interaction metaphor that exploits a user's personal space and its dynamic gestures. In human-computer interaction, to provide natural interactions with a system, a user interface should not be a bulky or complicated device. In this regard, the proposed ambient user interface utilizes an invisible personal space to remove cumbersome devices where the invisible personal space is virtually augmented through exploiting 3D vision techniques. For natural interactions with the user's dynamic gestures, the user of interest is extracted from the image sequences by the proposed user segmentation method. This method can retrieve 3D information from the segmented user image through 3D vision techniques and a multiview camera. With the retrieved 3D information of the user, a set of 3D boxes (SpaceSensor) can be constructed and augmented around the user; then the user can interact with the system by touching the augmented SpaceSensor. In the user's dynamic gesture tracking, the computational complexity of SpaceSensor is relatively lower than that of conventional 2-dimensional vision-based gesture tracking techniques, because the touched positions of SpaceSensor are tracked. According to the experimental results, the proposed ambient user interface can be applied to various systems that require real-time user's dynamic gestures for their interactions both in real and virtual environments.     

虚拟教学环境中基于草图的自适应用户界面研究

将草图技术、自适应技术与传统的虚拟现实技术相结合应用于虚拟教学过程中,通过增强用户和系统之间个性化需求的交互处理来提高系统的智能性和友好性,进而有效提高虚拟教学环境的应用效果.旨在虚拟环境中构建基于草图的自适应用户界面并应用于虚拟教学来满足特定教学需求,着重结合实例分析了基于自适应草图用户界面的虚拟教学环境中的草图上下文处理机制.在上述研究基础上,设计开发了一个虚拟教学原型系统,实验证明该系统在用户体验上有明显的改善.     

基于Ontology的数据库自然语言查询接口的研究

提出了一种基于Ontology的关系数据库自然语言查询接口的系统模型及设计框架.采用WordNet作为基本数据库并在WordNet之上定义领域词库,可以提高语法分析的识别率;同时利用Ontlogly知识表达能力存储关系数据库概念模型,并对概论模型的内容进行扩充;另外对Ontology和WordNet的同义词集进行关联,可以提高语义的识别率.用户的输入查询语句通过语法分析、语义分析生成中间表达式语言DRS,然后通过模板技术转换成SQL,通过DBMS执行SQL并返回结果.实验证明,这种方案不但实用可行,而且通过逐步完善Ontology知识库的定义,可以大大提高查询的命中率;另外通过WordNet和Ontology定义领域词库和领域知识,提高了系统的可移植性.最后,所提供的方法可以很容易地移植到其他领域.     

图形用户界面系统国际化的研究

国际化的GUI系统不仅仅要能够正确地显现多语言文本,而且要能够产生与文字书写方向相应的用户界面。目前主要的GUI库仅支持镜像,还不存在一个GUI框架既支持垂直文字又支持双向文字。在本文中,分析了开发国际化GUI系统过程中面临的问题,给出了一个层次模型来实现动态用户界面风格。     

个性化定制的虚拟健身系统设计与实现

目的 传统虚拟健身系统存在着沉浸性、可玩性方面的问题,并且缺少对用户的健身指导。提出一种能够改善健身娱乐性、有效性和指导能力的3维虚拟健身系统设计方法。方法 以自然交互界面、个性化深度定制策略和互反馈控制模型理论为基础,加强人与计算机之间的自然语义转换,增加用户对系统的设计控制能力,实时感知用户身体情况并引导用户进行科学健身。另外,依据此框架实现了一套采用健身自行车、Kinect体感摄像头、心率传感器等设备的健身系统。结果 本文提出了一种新的健身系统设计方法,并进行了实现。通过问卷调查,大部分测试者对本文所实现的系统总体评价比较满意并较认可系统新颖性。系统实验结果显示,本文健身系统设计方法对于改善个人健身的娱乐性和有效性有着良好的效果,并具有良好的通用性。结论 通过对测试者的反馈统计表明,系统在交互性和指导能力方面表现出色。     

OSG多点触控自然用户接口框架

OSG多点触控自然用户接口框架是在Windows多点触控技术基础上,将触控事件的管理和处理与OSG的事件处理机制相结合,形成了OSG的多点触控运行框架.在与用户交互过程中产生手指触屏的原始数据,根据这些原始数据定义所需的手势,并将其与OSG中交互事件处理机制相结合,完成利用多点触控对三维场景的交互操作.基于以上原理,分析了三维用户交互中主要的操作任务,定义了符合三维空间操作认知的多点触控交互手势,设计了相关手势的识别算法,并通过实例应用的开发验证了这一原理和设计成果的正确性和可行性.     

Integration Model of Eye-Gaze, Voice and Manual Response in Multimodal User Interface

This paper reports the utility of eye-gaze,voice and manual response in the design of multimodal user interface.A device-and application-independent user interface model(VisualMan)of 3D object selection and manipulation was developed and validated in a prototype interface based on a 3D cube manipulation task.The multimodal inpus are integrated in the prototype interface based on the priority of modalities and interaction context.The implications of the model for virtual reality interface are discussed and a virtual environment using the multimodal user interface model is proposed.     

User interface specification with sequence diagrams: an application to the AIRBUS A380 Datalink system

The development of user interfaces for safety critical systems is driven by requirements specifications. Because user interface specifications are typically embedded within complex systems requirements specifications, they can be intractable to manage. Proprietary requirements specification tools do not support the user interface designer in modelling and specifying the user interface. In this paper, a new way of working with embedded user interface specifications is proposed, exploiting sequence diagrams with a hypertext structure for representing and retrieving use cases. This new tool concept is assessed through an application to the requirements specification for the Airbus A380 air traffic control Datalink system; engineers involved in the development of the Airbus cockpit used a prototype of the tool concept to resolve a set of user interface design anomalies in the requirements specification. The results of the study are positive and indicate the user interface to requirements specification tools which user interface designers themselves need.     

基于ExtJS框架的考试系统界面设计与实现

在系统开发过程中,界面是系统与用户进行交互的重要渠道,为了在实现丰富动态的用户界面的同时提高代码编写的重用率,本文采用了ExtJS框架来实现用户界面设计,利用Ajax技术实现动态的界面编程,通过MVC的设计模式来减少代码的复杂度以及提高系统的可维护性。