基于草图的超视频构造方法及关键技术研究

由于视频媒体信息的线性结构特点,人们很难快速获取视频主要内容.利用视频资源构造超视频常需要借助复杂的计算机视觉技术,这给用户带来很大的认知与操纵负担.传统的基于时间轴或基于视频帧的交互方式在一定程度满足了视频的可操纵性,但仍不能有效辅助用户基于视频语义自然高效地组织与编辑视频,进而形成超视频媒体.针对这一问题,归纳了视频交互任务的类型及特点,分析了超视频媒体构造过程中的交互任务及相适应的草图用户界面,根据草图所表征的视频语义层次的不同,提出了情景草图与注释草图相结合的超视频构造方法并研究了相应的支撑技术,力求为超视频的构造提供简单、自然的交互方式.最后给出示例说明了如何利用草图有效地表征视频资源之间的语义关系进而构造面向视频语义的超视频.     

基于草图界面的应用系统框架研究与实现

现有的草图系统重在设计对象外形的表达,忽略了隐含在设计过程中用户思维活动的信息;另一方面,目前笔的交互方式尚不能自然、流畅地表达用户设计意图.通过分析草图界面信息对象和交互过程的特点,提出面向构思设计的应用系统框架ISF,以满足设计意图原型的快速生成;同时结合交互的任务、环境和用户偏好等上下文信排息,建立从物理设备到逻辑工具映射的交互模型,旨在为此类系统的交互设计提供一定指导的方法.最后给出面向轻纺行业服装设计的应用实例--草图图板系统.应用结果表明,ISF能够为此类草图应用系统的设计给予一定的指导,满足自然、流畅的交互设计要求.     

基于特征提取的服装外形设计草图推荐技术

草图是服装外形设计中一类高效的信息载体,为了提高服装外形设计的效率,减少大量的重复操作,本文设计并实现了一种基于草图特征提取的二级推荐技术,在设计过程中整合草图轮廓的几何特征和草图勾画过程中的过程特征,同时结合相关反馈技术和用户交互历史数据,并结合笔式界面技术,开发了笔式服装外形设计原型,改善了人机交互方式,能够在用户设计过程中满足草图推荐的目的。     

一种基于草图注释的视频浏览技术

针对视频的高效浏览和定位问题,提出一种基于草图注释的视频浏览技术.首先根据视频流中各帧的特征点提取关键帧;然后利用草图为视频的主要内容添加静态和动态注释,并结合提取的关键帧生成表征视频内容的个性化视频信息库;最后定义草图手势库来进行相关的视频交互操作.实验结果表明,该技术可有效地组织视频语义信息,提高视频的浏览、理解与交互的效率,并具有较高的用户满意度.     

基于笔式界面的交互式可视化分析系统

当前可视化分析软件对于人机交互的支持不足,造成分析推理过程效率较低。针对此问题,设计并实现了一个笔式可视化分析系统。首先分析了可视化分析过程的交互任务,然后提出了笔式可视化分析系统的体系结构,研究了基于草图的自适应布局算法,并对分析过程中的交互方式进行设计。最后给出了该系统的应用实例,可用性实验评估结果表明,该系统可以为可视化分析提供一种自然、高效的支持工具。     

基于草图界面的设计方案复用研究

当前的CAD工具缺乏对构思活动中各种设计知识的有效建模,造成设计方案难以在后续工作中灵活、快速地复用.采用基于草图界面的自然交互方式,通过对设计过程中草图信息的分析与建模实现对设计过程的描述;在复用过程中向用户提供推荐方案,支持设计意图的自然表达和方案的灵活复用,从而降低用户认知负担.实验结果表明,这种基于草图信息分析与建模的设计方案能满足敏捷设计的需要,实现了设计方案的灵活复用.     

一种笔式表格组件的设计方法

传统基于WIMP界面范式的表格设计,无法满足用户与界面自然、高效、连续性交互的需求,尤其是用户无法根据设计意图自由勾画任意通用的表格,也无法自动标识表格界面逻辑.提出一个基于笔交互的表格组件的设计方法.该方法以数字笔代替鼠标键盘,能够连续输入笔迹并识别为文字、勾画草图并识别为正式表格或框线、使用笔手势操纵界面对象,并能自动识别表格的逻辑结构.本文讨论了该笔式表格组件的开发框架及关键技术,以及表格组件架构,并给出了应用实例及性能评估,实验结果表明,用户使用该方法设计表格具有较高的效率与用户满意度.     

基于手绘草图的概念设计工具研究与设计

从认知心理学的角度,研究了概念设计的过程,探讨性地指出辅助设计工具应当以灵感为中心。阐述了适合概念设计过程的新的设计方法和交互技术,并介绍了基于手势的草图技术及新一代交互范式——PIBG交互范式。全面分析了约束捕捉、约束求解等关键问题,最后在此基础上给出智能图板系统的设计与实现,为用户提供了一种自然和谐的界面。     

一种草图形式的视频摘要生成方法

视频摘要作为一种视频内容的简要表示,能够有效地增强用户浏览和组织视频的效率。提出了一种基于草图的视频摘要生成方法。与以往的静态视频摘要方法不同,该方法结合视频内容分析,利用草图在表达上的简洁性和抽象性,对视频中的主要内容进行表达。首先通过视频分析获取视频中的语义特征并提取关键帧,然后通过交互式的方法从关键帧中生成草图,最后进行摘要布局生成完整的视频摘要。实验结果表明,该方法能够有效突出视频的主要对象和主要事件,并具有较高的用户满意度。     

一种Post-WIMP界面：PGIS的实现

笔式用户界面作为Post-WIMP界面的一种重要形式,成为当前研究的热点之一。基于笔交互的应用程序通常有如下需求：自然统一的风格、个性化界面定制的支持,以及各种终端设备上的移植。为了支持笔交互应用程序快速稳定的开发,提出了一种新的笔交互范式PGIS,以及基于PGIS的应用程序开发平台。PGIS交互范式包含了纸、小工具等交互组件, 定义了各种组件的显示及交互形式。PGIS平台采用模型驱动构架的设计方法,主要包括3个部分：界面的设计工具,PGIS交互引擎,PGIS底层核心库。目前,已经在PGIS平台上开发了几款优秀的笔式交互软件,完全满足上述笔式交互应用程序的需求。PGIS的可行性也因此得到了很好的验证。     

StoryMap: An Efficient Sketch-Based Interface for Video Navigation

With the exploration of video data, it is difficult for people to navigate freely and make full use of amount of video data efficiently in order to get useful information or knowledge with an aim to fulfill special tasks such as visual analysis. In this paper, we propose a novel sketch based interface which is called StroyMap for video content representation and navigation under the guideline of distributed cognition. Instead of emphasizing on details, the sketches visualized the essential content of video effectively. In order to meet different requirement for video exploration tasks, StoryMap provides users a variety of navigation ways, such as path redirection, map tagging, zoom in and zoom out. During the whole interaction process, the system will collect user''s operation list, construct user model as a guide to understand interaction between people and computer. Experimental evaluation results show that StoryMap plays more effiective role in conveying and navigating video content compared with existing methods.     

PIBG Toolkit:一个笔式界面工具箱的分析与设计

PIBG Toolkit是一个基于PIBG交互范式构造而成的笔式应用开发平台．PIBG Toolkit中包含了纸、框等多种交互组件,定义了纸、框和内容三个层次之间的静态结构和动态机制．开发者开发笔式交互系统时,可以用PIBG Toolkit来建立整体的软件框架和交互机制,并有选择地在系统中添加Toolkit。中所提供的交互组件,这样,开发者的精力将会集中在应用领域的内容上。目前,基于该平台已经开发出多个具有很好应用前景的笔式应用系统。     

在线双向适应的笔手势界面框架研究

提出一个在线双向适应的笔手势界面框架,该框架针对传统笔手势界面中静态手势识别器不能支持用户的个性化输入以及用户在笔手势界面中面临的手势记忆问题,提出了在线双向适应的策略:一方面系统能够适应用户(系统可以在线支持用户的个性化输入);另一方面用户可以学习系统(用户可以学习系统提供的某些笔手势).该框架包括5个部分:(1)双向适应笔手势输入解释模型;(2)双向适应笔手势输入解释流程;(3)上下文优先级定义;(4)纠错和模糊消解界面;(5)在线笔手势查询帮助系统.在该框架的指导下作者开发了一个原型系统并进行了对比实验评估.结果表明该框架在可用性上具有较大的优势.     

基于草图的人机交互技术研究进展

从草图识别和语义理解这两个方面对基于草图的人机交互技术的研究状况进行了分析和总结．对草图识别方法按其模式单元定义（笔划、图元、特征和组合图形）进行了分类和剖析;对草图语义理解所涉及的语义获取、语义解释和语义应用这三个关键问题及其解决方法进行了分析和阐述;并分别从基于草图的人机交互技术的几何模糊性、用户适应性和应用独旁性及其关系角度提出了这一领域的主要研究课题及其解决思路．     

虚拟教学环境中基于草图的自适应用户界面研究

将草图技术、自适应技术与传统的虚拟现实技术相结合应用于虚拟教学过程中,通过增强用户和系统之间个性化需求的交互处理来提高系统的智能性和友好性,进而有效提高虚拟教学环境的应用效果.旨在虚拟环境中构建基于草图的自适应用户界面并应用于虚拟教学来满足特定教学需求,着重结合实例分析了基于自适应草图用户界面的虚拟教学环境中的草图上下文处理机制.在上述研究基础上,设计开发了一个虚拟教学原型系统,实验证明该系统在用户体验上有明显的改善.     

交互技术在手写公式编辑中的应用

遵循泛化计算理论，设计实现了一个联机手写公式编辑系统，以提高识别率和交互(效)率．该系统采用上下文感知技术来辅助切分、解决符号的二义性；采用备选择优、直接指定技术来修正字符的识别结果；采用局部放大解决笔画交叉时的分割问题；最后还给出一个补笔算法．实验表明，这些技术的应用使得数学公式的识别率和系统交互(效)率得到有效的提高，同时使该系统具有自然、隐式交互的特点。     

基于草图的面向概念设计的协同图表绘制工具

概念设计过程使用了多种图表来表示设计概念以及构建功能结构.将手绘草图作为设计者之间的一种通信语言引入到异地同步协同概念设计过程,提出了基于手绘草图的协同图表绘制多agent 系统,包含草图交互、草图识别、通信、协调等多个agent.讨论了各agent 之间的通信机制以及主要agent 的实现策略,包括草图识别以及语义一致性维护策略.将系统应用到协同流程图绘制领域,运行结果表明,该工具能够改善人机交互模式,促进多用户之间的交流和协作.