草图理解技术研究进展

本文概述了草图理解技术(包括草图识别和语义理解)的现状。首先,草图识别包括预处理和图形识别．根据各种图形处理机制,介绍了四种图形识别方法：基于笔划的、基于图元的、基于几何特征的、基于组合图形的。其次．深入分析了几个语义理解方法,一般包括三个环节：语义获取关系分析和高层应用。最后,本文提出了几何模型、用户模型和领域模型。讨论了草图理解中的主要问题并给出初步解决方案。     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。     

在线草图识别研究综述

综述了在线草图识别研究现状,重点关注近十年的研究成果,内容包括识别时机、单笔画处理、单个图符识别、图文分离和无约束笔画成组等,最后就今后的发展和关键问题进行了总结.     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于手绘草图的快速植物建模

传统的交互式植物建模虽然能构建较为精准的目标模型,但其过程极为费时,而基于L-system 的过程式建模虽然能快速自动生成复杂模型,但由于其较高的学习门槛以及对植物形态的控制性欠佳,使得普通用户难以操作。二维草图作为一种直观、高效的交互媒介,对植物形态具有良好的描述力。基于此,该文提出一种基于手绘草图的植物建模方法：首先,对创作者绘制的草图进行预处理和分析,推测创作者的创作意图;然后,结合植物学知识,提出相应的花朵、枝干和叶片的深度信息恢复方法来恢复二维草图中缺失的深度信息;最后,根据深度信息和一定的植物学先验知识重建出具有真实感的目标模型。该方法支持对花卉、草本、树木等具有枝叶结构的植物进行建模,同时具有较大的创作自由度和较快的建模速度。     

基于草图界面的应用系统框架研究与实现

现有的草图系统重在设计对象外形的表达,忽略了隐含在设计过程中用户思维活动的信息;另一方面,目前笔的交互方式尚不能自然、流畅地表达用户设计意图.通过分析草图界面信息对象和交互过程的特点,提出面向构思设计的应用系统框架ISF,以满足设计意图原型的快速生成;同时结合交互的任务、环境和用户偏好等上下文信排息,建立从物理设备到逻辑工具映射的交互模型,旨在为此类系统的交互设计提供一定指导的方法.最后给出面向轻纺行业服装设计的应用实例--草图图板系统.应用结果表明,ISF能够为此类草图应用系统的设计给予一定的指导,满足自然、流畅的交互设计要求.     

基于贝叶斯网络的在线草图识别算法

针对手绘草图识别算法大多采用限制用户绘制习惯来实现笔画分组的问题,提出一种基于贝叶斯网络的手绘草图识别算法。该算法将手绘草图识别中的笔画分组和符号识别统一为一个过程,用贝叶斯网络拓扑结构来表达草图结构信息。基于该网络,根据最大后验概率对连续输入的笔画进行动态最优分组,同时在线预测每组笔画的符号类别。实验结果表明,该方法是一种有效的在线递进式笔画分组和识别算法,在电路符号手绘识别中达到71.3%的过程识别率和85%的最终识别率。     

人机交互蹒跚前行

2004年,当“勇气”号踏上火星的时刻,这个被NASA称作迄今为止最聪明的机器人开创的不仅是人类探索太空的历史,也将人机交互技术的最先进成果直观地展现给了全世界。尽管“勇气”号拥有自己的大脑、躯体、头颈、感官、手臂、轮腿、温控、能源及通讯等九大器官,但它在火星与地面的科学家们交换信息还是通过显示器,由科学家们通过Java这种程序语言来控制。 从某种角度来看,人机交互技术的发展历史正是计算机技术发展的动力和源泉。从只能接受高电平、低电平的巨型机器,到拥有九大器官的“勇气”号,人们对人机交互技术的需求极大地推动了计算机、网络、移动通讯、信息家电等各大产业的发展。微软的第一桶金掘自何处?Intel何以推出迅驰技术?人机交互技术的每一个不经意的突破,都引发了信息产业或市场的格局巨变。数字墨水、手写输入、语音识别……在IBM、微软、汉王等国内外厂商逐鹿市场的时候,背后偷笑的该是即将从键盘、屏幕中解放出来的用户们。     

基于ARM的逻辑门电路手绘草图识别

针对电路草图识别主要在计算机上完成以及只能识别电路元件的问题,设计一个在ARM处理器和Linux系统上实现的逻辑门电路草图整图识别系统。采取在线识别的方式对触摸屏上输入的手绘笔画进行分段识别、组合、分类得到门电路的图元,按图元顺序建立图元列表,分割出逻辑门图元组合,重构门电路整图。实验证明该系统对逻辑门电路草图有很高的识别率。     

联机手绘草图的识别原理

本文对应用工程师在人机交互过程中的思维方式做了深入研究,在此基础上,开发了新型的联机手绘草图输入系统。我们开发的“草图设计和输入系统”能将CAD用户的许多创造性思维意念在屏幕上直观地体现出来,输入快且出错少。本文系统地介绍了这一系统的识别原理。     

支持方案设计的手绘图形输入工具

手绘图形输入是表达设计意图，实现抽象概念与具体图形间相互转换的自然而有效手段之一、提出并初步实现了一个面向方案设计、采用在线图形识别方法和相似性相关反馈技术的手绘图形输人工具．在线图形识别方法将用户输入的笔画经过图形预处理、特征识别、图形拟合和规整等过程，即时地识别和预测用户的基本图形构造意图；相似性相关反馈技术则在基本图形按其空间和时间关系组合后，利用图形构成及其空间关系与图形模板的相似性计算，及时地捕捉和反馈用户输入图形的组成意图．实验表明：该工具具有很好的基本图形识别效果和良好的用户交互特性，为方案设计工具的研究提供了新的思路．     

双手交互界面研究进展

用户界面的发展趋势已经从“以技术为中心”发展为“以用户为中心”的新阶段,双手交互 作为适应这种趋势的一种主要界面形式,以其自然直观等特点逐渐受到人们重视.系统地阐 述了这种界面的研究现状,从双手操作的行为学和心理学基础出发,由实验评估总结出双手 交互界面的基本设计准则,分类比较几种典型的交互技术,最后指出了存在的问题和下一步 的研究方向.     

基于草图的面向概念设计的协同图表绘制工具

概念设计过程使用了多种图表来表示设计概念以及构建功能结构.将手绘草图作为设计者之间的一种通信语言引入到异地同步协同概念设计过程,提出了基于手绘草图的协同图表绘制多agent 系统,包含草图交互、草图识别、通信、协调等多个agent.讨论了各agent 之间的通信机制以及主要agent 的实现策略,包括草图识别以及语义一致性维护策略.将系统应用到协同流程图绘制领域,运行结果表明,该工具能够改善人机交互模式,促进多用户之间的交流和协作.     

一种支持超视频创建与可视呈现的草图界面技术

超视频打破了传统视频的单一线性的组织和浏览方式,有效地增强了用户的浏览效率和视频信息的表达能力.基于草图和草图界面在思维表达上的优势,针对目前对视频内容以及视频间或者视频内的关系展示上的不足,提出了一种支持超视频创建的草图界面来直观地表达用户的设计意图,改善了视频编辑过程中的交互体验.提出了一种基于force-directed 的图布局算法.该算法对视频语义进行建模,将时间、空间、视频结构、约束关系等语义信息融入到节点质量、引力和斥力等对象中.系统实例表明,该方法能够很好地适应视频特有的语义类型,表示出超视频的动态创建和编辑过程.     

基于语义网络的人体经络用户界面研究

将语义网络用于表征人体经络系统中复杂概念之间的关系,构建经络知识库,为建立智能化人机交互提供基础;同时将语义网络引入到系统用户界面设计,为信息用户提供智能引导,使系统能够根据用户的真实需求,为用户提供主动地、有针对性的个性化导航服务,提高用户的学习效率。     

基于草图界面的设计方案复用研究

当前的CAD工具缺乏对构思活动中各种设计知识的有效建模,造成设计方案难以在后续工作中灵活、快速地复用.采用基于草图界面的自然交互方式,通过对设计过程中草图信息的分析与建模实现对设计过程的描述;在复用过程中向用户提供推荐方案,支持设计意图的自然表达和方案的灵活复用,从而降低用户认知负担.实验结果表明,这种基于草图信息分析与建模的设计方案能满足敏捷设计的需要,实现了设计方案的灵活复用.     

建筑工程图识别系统用户接口的设计与实现

建筑工图的组成符号和构件类型多、三维结构的二维示意式表达、数据分散性、蕴含性、不严格性等特点,决定了图形识别和理解系统对用户接口技术的迫切需求。结合建筑工程图自动识别与理解的特点,除遵循一些常规设计原则外,提出了一系列旨在提高适应系统可用性、易用性、高效性的用户接口设计思想,并给出了其中部分内容的实现方法。     

虚拟教学环境中基于草图的自适应用户界面研究

将草图技术、自适应技术与传统的虚拟现实技术相结合应用于虚拟教学过程中,通过增强用户和系统之间个性化需求的交互处理来提高系统的智能性和友好性,进而有效提高虚拟教学环境的应用效果.旨在虚拟环境中构建基于草图的自适应用户界面并应用于虚拟教学来满足特定教学需求,着重结合实例分析了基于自适应草图用户界面的虚拟教学环境中的草图上下文处理机制.在上述研究基础上,设计开发了一个虚拟教学原型系统,实验证明该系统在用户体验上有明显的改善.     

自适应笔式用户界面开发的概念框架

提出了一个指导自适应笔式用户界面开发的概念框架CFAPUI(a conceptual framework for developing adaptive pen-based user interface).该框架详细描述了自适应笔式用户界面的软件体系结构,阐述了自适应笔式用户界面的软件体系结构中的各组成模块及其相互间的关系.同时,在体系结构的基础上提出自适应笔式用户界面开发时的具体过程步骤和方法,并通过一个笔式表单应用来说明该开发框架在指导自适应笔式用户界面开发中的具体应用.