基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

基于上下文的在线草图识别方法

支持用户自由连贯地绘制草图是在线草图识别研究的目标之一。本文提出一种使用空间关系等上下文和贝叶斯分类器进行草图识别的方法,其主要特点包括两个方面：第一,使用笔画空间关系进行自动笔画成组,可以在不打扰用户绘图的情况下完成候选符号的选取;第二,利用贝叶斯分类器实现在线草图识别,可以解决识别方法的领域相关性及画法敏感性问题。实验验证了方法的有效性。     

手绘草图识别方法研究

提出了一种手绘草图图形识别的解决方法。该方法将不同复杂层次的草图结构抽象为空间关系图,并在图匹配计算过程中引入约束部分枚举方法,智能地预测匹配的有效状态,缩小了空间关系图匹配过程中状态搜索空间。实验表明该方法取得了较好的效果。     

捕捉设计意图的二维草图识别技术

针对目前二维草图识别技术存在的误识别率高、智能性差等缺点,提出一种通过捕捉设计意图修正贝叶斯推理结果的草图识别技术.首先研究绘制过程中笔触的速率、压力等变化规律与设计意图的关系,建立草图绘制规律与设计意图关系模型,实现实时设计意图捕捉;其次建立二维草图识别的贝叶斯网络,根据绘制几何特征分配条件概率表;再利用捕捉的设计意图修正各个约束特征节点的条件概率,使贝叶斯网络能够推理出符合设计意图的几何元素及约束关系;最后建立草图识别系统,并引入评价反馈机制增强识别的自适应性和准确性.实验结果表明,该技术使二维草图的误识别率降低约30％,有效地减少了漏识别发生,对无设计意图绘制扰动具有区分能力.     

基于深度卷积-递归神经网络的手绘草图识别方法

针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征,而忽略了草图中笔画的顺序信息的问题,利用手绘草图的笔画顺序信息,将深度卷积神经网络与递归神经网络相结合,提出一种基于深度卷积-递归神经网络的手绘草图识别方法.首先按照绘画草图时的笔画顺序提取笔画,生成多幅子笔画草图,并形成一个笔画数依次递增的子笔画草图序列;然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征,并将提取的图像特征按照原先子笔画草图排列的顺序进行排序,作为递归神经网络的输入;最后利用递归神经网络来构建不同图像特征间的时序关系,以提高手绘草图的识别准确率.在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明,文中方法能有效地提升手绘草图的识别准确率.     

采用遗传算法的手绘草图关系模板生成方法

草图理解包含两个方面：草图图形识别和草图布局分析．但目前的研究大部分集中于一些特殊图形的草图识别上。实际上，草图布局分析对草图信息内容的发现，尤其是在获取其构思方面更为重要。本文为事实草图图形的布局分析提出了一种基于遗传算法的模板生成方法．在定义和描绘了布局模式的基础上．本方法能找出有潜在语义的图形对象间的模式。实验表明：遗传算法能够有效找出明显或是潜在的模式，并能很减轻手工标注模式的负担。     

基于深度学习的草图分割算法综述

草图一直是人类传递信息的重要工具之一.草图可以通过简单明了的形式更快地表达人类的一些复杂思想,因此,草图处理算法一直是计算机视觉领域的研究热点之一.目前,对草图的研究主要集中在识别、检索和补全等方面.随着研究者对于草图细粒度操作的重视,对草图分割方面的研究也得到越来越多的关注.近年来,随着深度学习与计算机视觉技术的发展,出现了大量基于深度学习的草图分割方法,草图分割的精确度和效率也都得到了较大提升.但是,由于草图自身的抽象性、稀疏性和多样性,草图分割仍然是一个非常具有挑战性的课题.对基于深度学习的草图分割算法进行整理、分类、分析和总结,首先阐述了3种基本的草图表示方法与常用的草图分割数据集,再按草图分割算法的预测结果分别介绍了草图语义分割、草图感知聚类与草图解析算法,然后在主要的数据集上收集与整理草图分割算法的评测结果并对结果进行分析,最后总结了草图分割相关的应用并探讨未来可能的发展方向.     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

采用快速图元匹配的手绘非规则军标识别

在线手绘非规则军标识别是基于草图的态势标绘系统的重要组成部分.针对非规则军标的图形线条可变性大的问题,提出一种结构化识别方法.首先定义并识别非规则军标草图的图元;然后用模糊方法描述图元间的拓扑关系,建立待识别样本与模板图形的图元匹配代价矩阵,并基于指派问题模型计算图形相似度;最后提出2种计算不完整的输入草图与模板图形相似度的方法.实验结果表明,文中方法是有效的.     

基于草图的分布式数据流聚集查询的研究

讨论了基于草图的复杂聚集查询的近似处理算法.利用随机技术,在数据流过时实时计算数据的草图概要;同时采用了新颖的草图分割技术,有效地提高近似应答的精度.合成数据的查询实验表明草图技术能有效地降低估算误差.     

一种基于正等轴测草图的三维重构算法

为便于实现平面立体的三维重构,提出一种基于正等轴测草图的重构算法.首先按面片组织轴测草图轮廓信息,通过交互指定父面,并建立各个面片之间的关系.其次对轴测草图的父面进行投影逆变换求解.然后将子面绕与父面连接的公共棱边旋转,并进行分类计算,当立体的表面积最大时,生成相应的目标形体.给出了用Matlab实现算法的关键技术和测试算例,从而快速实现平面立体的三维重构.实验结果表明了该算法的有效性和实用性.     

基于草图的超视频构造方法及关键技术研究

由于视频媒体信息的线性结构特点,人们很难快速获取视频主要内容.利用视频资源构造超视频常需要借助复杂的计算机视觉技术,这给用户带来很大的认知与操纵负担.传统的基于时间轴或基于视频帧的交互方式在一定程度满足了视频的可操纵性,但仍不能有效辅助用户基于视频语义自然高效地组织与编辑视频,进而形成超视频媒体.针对这一问题,归纳了视频交互任务的类型及特点,分析了超视频媒体构造过程中的交互任务及相适应的草图用户界面,根据草图所表征的视频语义层次的不同,提出了情景草图与注释草图相结合的超视频构造方法并研究了相应的支撑技术,力求为超视频的构造提供简单、自然的交互方式.最后给出示例说明了如何利用草图有效地表征视频资源之间的语义关系进而构造面向视频语义的超视频.     

基于草图纹理和形状特征融合的草图识别

人类具有很强的草图识别能力. 然而, 由于草图具有稀疏性和缺少细节的特点, 目前的深度学习模型在草图分类任务上仍然面临挑战. 目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异. 提出一种端到端的手绘草图识别模型, 简称双模型融合网络, 它可以通过相互学习策略获取草图的纹理和形状信息. 具体地, 该模型由2个分支组成: 一个分支能够从图像表示(即原始草图)中自动提取纹理特征, 另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征. 此外, 提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性, 这样可以保证2个分支关注相同的判别性区域. 最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化. 在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验, 评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.     

一种支持超视频创建与可视呈现的草图界面技术

超视频打破了传统视频的单一线性的组织和浏览方式,有效地增强了用户的浏览效率和视频信息的表达能力.基于草图和草图界面在思维表达上的优势,针对目前对视频内容以及视频间或者视频内的关系展示上的不足,提出了一种支持超视频创建的草图界面来直观地表达用户的设计意图,改善了视频编辑过程中的交互体验.提出了一种基于force-directed 的图布局算法.该算法对视频语义进行建模,将时间、空间、视频结构、约束关系等语义信息融入到节点质量、引力和斥力等对象中.系统实例表明,该方法能够很好地适应视频特有的语义类型,表示出超视频的动态创建和编辑过程.     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

基于自适应多类中心和半异构网络的三维模型草图检索

草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注.然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点的相互作用严重影响检索的准确性.针对以上问题,提出了一种基于自适应多类中心和半异构网络的三维模型草图...     

基于UG 参数化设计系统的研究

论文是以功率超声珩磨装置的参数化建模为例,在一般零件参数化设计的 基础上,提出了一种基于草图装配和草图约束的参数化设计方法。此方法是利用UG 建模里 的草图功能,在对零件模型进行几何约束和尺寸约束的基础上,用函数表达式建立多个零部 件的变量尺寸与装配草图的关系,通过对装配草图里设计变量尺寸的管理,实现整个装置零 部件之间的联动。     

草图交互式地质建模研究

提出一种简单、快捷的草图交互式地质建模方法,旨在帮助地质学家们在地质勘测初期直观、快速地创建无数据地质概念模型.迄今,现存专业地质建模工具依赖成本较高的真实数据创建精细复杂的三维地质模型,且通常具有建模用时长、不易于学习和使用等缺陷.因此,采用直观的“纸-笔”建模隐喻,提供了一套从草图绘制到三维模型创建,再到三维模型编辑的完整建模流程,允许用户在自由定义的绘图平面上绘制描述模型地质特征的三维草图,并对其构成的连通草图网络实时地进行三维模型重建.模型重建使用分治的思想,大致分为3个步骤完成：首先利用三维草图的几何信息,即拐点,根据其拓扑连接搜寻草图网络中近似平面的能量最小圈,然后通过调和函数计算草图网络中每个圈包围区域的目标平均曲率标量及其法线方向,随后以Laplacian方程优化生成曲面片,最后将曲面片拼接成完整的三维模型.褶皱、断层地质现象可以分别通过重绘和切割操作进行建模.此外,利用层级结构树存储地质模型间的层级关系,并通过变形传递的方式对与形变物体接触的地质模型进行形变,从而保持了地质结构中多物质体相互接触的特性.相比现有基于草图的交互式建模工具,该方法融合了地质学知识,且能够更有效地使用少量草图描述地质物体的特征.基于用户体验调查,该方法具有操作简单、建模直观的特点,能够同时满足专业和非专业人士快速创建地质概念模型的需求.     

基于眼部追踪技术的产品意象草图认知差异研究

情感匹配度是评价设计草图品质的重要指标,设计师的认知在其心理意象外显为草图的过程中起着关键作用.分析其认知差异可提高设计协作效率,并高效筛选出情感匹配度较高的优质草图.针对此问题,首先提出了循环设计流程,筛选感性意象语汇并定义意象属性;其次运用Tobii眼动仪采集设计师阅读任务文本、创作草图时眼动指标数据;然后拆分草图计算情感匹配值再择优组合为意象草图;最后对比分析设计师观察意象草图进行感性评价时的眼动指标.结果表明,草图组合法则可获得情感匹配度较高意象草图,设计师自身经验与信息资源调用的数量、维度、回视次数和方案质量成正比,与作业时间和评判准确度成反比.