基于结构图的手绘草图检索

提出一种基于结构图的草图检索方法,在保持图像大致形状的基础上对图像的轮廓数据进行有效的降维处理,解决了轮廓的起点选择、旋转、平移以及缩放等不变性,形成了图像的标准化形状描述子,并生成相应的结构图,提取结构图的四种特征,分别进行形似性度量.实验表明文中方法能够用来有效地进行草图检索.     

基于结构图的手绘草图检索

提出一种基于结构图的草图检索方法,在保持图像大致形状的基础上对图像的轮廓数据进行有效的降维处理,解决了轮廓的起点选择、旋转、平移以及缩放等不变性,形成了图像的标准化形状描述子,并生成相应的结构图,提取结构图的四种特征,分别进行形似性度量。实验表明文中方法能够用来有效地进行草图检索。     

基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

基于轮廓的手绘草图检索研究

利用傅利叶形状描述方法来统一描述手绘草图图像库和用户输入的手绘草图形状信息,该方法解决了基于笔划描述的计算效率和输入顺序敏感性问题。实验表明所提出的方法不仅能得到较好的检索结果,且具有较好的用户适应性。     

一个面向构思的手绘草图识别系统

手绘图形输入是用户设计意图的一种自然有效的表达方式。本文介绍了一个手绘图形识别系统-SketchEI。SketchEI由五个部分构成：用户交互、输入预处理、图形识别器、草图管理器以及用户适应性。SketchEI把它们有机地组合在一起并且给出了一个相对完整的手绘图形识别技术理论体系。     

基于二维手绘草图的三维形状检索

随着互联网上三维模型数量的迅猛增多,需要发展便捷、可靠的基于内容的三维形状(模型)检索引擎。手绘草图具有以视觉形象表达概念的能力,符合人类传递信息的习惯,因而成为三维形状检索的重要交互手段。然而,直接表达人类意识的二维手绘草图与标准的三维形状表达之间常常存在较大的语义鸿沟,这给基于手绘草图的三维形状检索带来很多技术难题。文章对基于手绘草图的三维形状检索相关背景以及技术进展进行了介绍,重点介绍了用上下文信息填补语义鸿沟的最新方法。     

面向草图检索的相关反馈方法

引入基于有偏SVM的学习机制,提出了一种面向草图检索的相关反馈方法.该方法以草图的全局和结构内容表示与匹配为基础,采用基于有偏SVM学习机制实现相关反馈,可有效地捕捉用户的查询兴趣,改善检索性能.最后通过实例验证了该方法的有效性.     

面向草图检索的小样本增量有偏学习算法

为了解决草图检索相关反馈中小样本训练、数据不对称及实时性要求这3个难点问题,提出了一种小样本增量有偏学习算法.该算法将主动式学习、有偏分类和增量学习结合起来,对相关反馈过程中的小样本有偏学习问题进行建模.其中,主动式学习通过不确定性采样,选择最佳的用户标注样本,实现有限训练样本条件下分类器泛化能力的最大化;有偏分类通过构造超球面区别对待正例和反例,准确挖掘用户目标类别;每次反馈循环中新加入的样本则用于分类器的增量学习,在减少分类器训练时间的同时积累样本信息,进一步缓解小样本问题.实验结果表明,该算法可以有效地改善草图检索性能,也适用于图像检索和三维模型检索等应用领域.     

基于设计草图的零配件检索算法

在机械制造智能化进程中不可避免地产生了海量零配件模型信息,给数据的高效检索带来了巨大的挑战。考虑到设计草图具备用户友好且轻量级的特性,方法通过构造深度跨域表征模型进行基于设计草图的机械零配件模型检索。针对草图和三维模型的跨模态信息关联问题,提出特征联合学习方法,旨在控制检索对象类内及类间差异的过程中,使特征描述符习得单一域特征的同时融合跨域信息,建立跨模态数据在共嵌空间下的一致性关联表征。最后,利用哈希编码构建索引表实现海量数据的快速检索。在零部件数据上的实验结果表明,所提出的基于设计草图的零配件检索方法在同期方法中既能实现最准确的检索结果,也具备较高的检索效率。方法在提升跨模态零配件信息检索准确性的同时提高了数据管理效率,从而间接提升了产品设计的效率和便捷性,相关系统已经在部分企业落地应用且获得良好反馈。     

面向存储与传输的手绘草图信息表示模型

草图信息的存储与传输是草图系统在信息共享乃至网络协同方面需要解决的问题,其核心在于草图信息的一致表示。本文从信息表示和信息传榆两个维度,建立了草图信息表示模型框架。该框架采用域模型思想,包括域属性、逻辑模型、转换模型、对象模型和控制模型,它们实现了草图信息的一致表示、统一管理和信息存储、传输。最后,从静态和动态两方面,对草图信息的建模过程进行了详细描述,给出了草图信息表示的 XML 实现策略,并对信息传输技术进行了分析。     

手绘草图识别方法研究

提出了一种手绘草图图形识别的解决方法。该方法将不同复杂层次的草图结构抽象为空间关系图,并在图匹配计算过程中引入约束部分枚举方法,智能地预测匹配的有效状态,缩小了空间关系图匹配过程中状态搜索空间。实验表明该方法取得了较好的效果。     

面向细粒度草图检索的对抗训练三元组网络

将草图作为检索示例用于图像检索称为基于草图的图像检索,简称草图检索.其中,细粒度检索问题或类内检索问题是2014年被研究者提出并快速成为广受关注的研究方向.目前研究者通常用三元组网络来解决类内检索问题,且取得了不错的效果.但是三元组网络的训练非常困难,很多情况下很难收敛甚至不收敛,且存在着容易过拟合的风险.借鉴循环生成对抗训练的思想,设计了SketchCycleGAN帮助提高三元组网络训练过程的效率,以对抗训练的方式使其参与到三元组网络的训练过程中,通过充分挖掘数据集自身信息的方式取代了利用其他数据集进行预训练的过程,在简化训练步骤的基础上取得了更好的检索性能.通过在常用的细粒度草图检索数据集上的一系列对比实验,证明了所提方法的有效性和优越性.     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

手绘草图实时处理方法研究

徒手草绘作为一种简便、自然、高效的人机交互方式,在计算机辅助设计领域越来越受到人们的重视。本文主要针对草绘设计与图形识别的行为过程进行了一系列较为广泛的研究,以便将用户的草绘习惯、识别能力与现有的CAD技术紧密结合起来,开发出新一代的智能CAD产品。具体包括草图前处理、特征点的检测、笔划分段、图元识别、图元重构、图元规整、端点校正等内容。实验表明所提出的方法能得到较好的识别结果。     

手绘草图实时处理方法研究

徒手草绘作为一种简便、自然、高效的人机交互方式，在计算机辅助设计领域越来越受到人们的重视。本文主要针对草绘设计与图形识别的行为过程进行了一系列较为广泛的研究，以便将用户的草绘习惯、识别能力与现有的CAD技术紧密结合起来，开发出新一代的智能CAD产品。具体包括草图前处理、特征点的检测、笔划分段、图元识别、图元重构、图元规整、端点校正等内容。实验表明所提出的方法能得到较好的识别结果。     

手绘草图的在线分段识别

提出了一种在线手绘草图快速分段识别方法。先对草绘笔划进行平滑预处理,以减少噪声干扰和冗余点的数目;然后利用草绘笔划的动静态特性,以及用户的草绘习惯等特性找出笔划的关键分段点,将笔划分为多个笔划子段;最后利用基于二次曲线的方法对笔划子段进行分段识别和特征参数计算,并通过构造面向对象的图形数据结构对识别出的几何图元进行重构。实例表明,该方法具有较好的识别能力和系统稳定性,能够应用于二维概念草图的快速表达,以及后续三维草绘建模的特征笔划智能识别过程中。     

联机手绘草图的识别原理

本文对应用工程师在人机交互过程中的思维方式做了深入研究,在此基础上,开发了新型的联机手绘草图输入系统。我们开发的“草图设计和输入系统”能将CAD用户的许多创造性思维意念在屏幕上直观地体现出来,输入快且出错少。本文系统地介绍了这一系统的识别原理。     

用于手绘检索的伪监督边缘检测算法

基于深度学习的边缘检测算法需要大量的标注,这阻碍了边缘检测的推广应用。因此提出一种伪监督边缘检测算法,能够在无标注的手绘图像数据集上提取图像边缘。算法分成三部分,包括伪监督标签生成、多尺度边缘检测网络和特征增强模块。伪监督标签为多尺度监督的边缘检测网络生成监督信息,特征增强模块可以弥补伪监督带来的信息丢失。该算法比现有边缘检测算法提取的边缘更完整,在手绘数据集QMUL-Shoe和QMUL-Chair上可以提高1%～6%的检索精度,对需要边缘检测的所有领域都有启发性意义。     

基于笔序的手绘草图识别方法

本文提出了一种基于用户绘图过程笔序信息的手绘草图识别方法,该方法利用同一用户绘制同一草图的笔序趋向于一致这一特点,在收集用户绘图笔序信息的基础上建立用户模型,从而达到提高输入自由度和识别效率的目的,并用实验加以了证明。     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。