在线手绘草图识别中的用户建模方法

提出了一种在线手绘草图识别的用户建模方法。该方法首先利用用户输入笔划的速率和曲率特性进行笔划特征点抽取和笔划分段,从而将用户的输入草图分解成基本图元表示;进而,利用决策树收集和记录用户输入草图的时序信息,实现对复杂手绘草图的用户建模和在线识别,并通过对用户输入模式使用频率的统计实现对用户模型的动态管理和更新。实验表明:该方法不仅能显著提高复杂图形的识别效率,而且具有在线训练能力。     

基于草图查询的语义对象图像检索

针对图像低层特征和高层语义之间存在的语义鸿沟问题,提出一种结合草图查询和相关反馈的语义对象图像检索系统.该系统首先根据用户输入的手绘草图,利用形状(轮廓、区域和骨架)特征从对象库中初步检索出语义对象并保存其区域组合;然后根据用户选择的反馈对象并结合查询草图提取用户检索对象的语义特征(形状、区域及拓扑特征),最后采用寻找最优区域配对的方法在系统特征库中进行检索.实验结果表明,本文方法不但对用户需求的语义对象有较好的检索效果,而且还能较准确地在结果图像中框选出用户感兴趣的语义对象.     

基于轮廓的手绘草图检索研究

利用傅利叶形状描述方法来统一描述手绘草图图像库和用户输入的手绘草图形状信息,该方法解决了基于笔划描述的计算效率和输入顺序敏感性问题。实验表明所提出的方法不仅能得到较好的检索结果,且具有较好的用户适应性。     

三维人体的草绘建模方法

提出了一种三维人体的草绘建模方法,允许用户分层次绘制人体骨架线和轮廓线草图,并快速生成三维人体模型.该方法的特征主要表现在两个方面:首先,采用层次化的人体截面模板进行形变,并使用基于距离的描述子在人体模板库中检索最符合用户绘制的模板,使结果模型更能体现人体草图特性;其次,采用参数驱动的三维人体模型生成方法,将草图轮廓特征与模板轮廓进行对应并计算三维形变参数,最后对人体模板进行形变生成三维人体模型.实验结果表明,该方法能够快速构建符合用户绘制意图的三维人体模型.     

基于ARM的逻辑门电路手绘草图识别

针对电路草图识别主要在计算机上完成以及只能识别电路元件的问题,设计一个在ARM处理器和Linux系统上实现的逻辑门电路草图整图识别系统。采取在线识别的方式对触摸屏上输入的手绘笔画进行分段识别、组合、分类得到门电路的图元,按图元顺序建立图元列表,分割出逻辑门图元组合,重构门电路整图。实验证明该系统对逻辑门电路草图有很高的识别率。     

智能家居中虚拟人的设计与生成

随着智能家居的快速发展,国内外学者已经对交互界面进行了多方面的研究.立足虚拟人技术,重点探索智能家居中虚拟人的潜在需求.基于设计师的人物设计经验,将各异的人脸五官特征归类为有限个解剖维度,以此作为设计规则,设计人脸五官的卡通风格化模型模板,比对人脸图像特征构建模板库.在此基础上,结合人脸特征识别及基于美学计算的特征——卡通形象模版库映射关系,实现从二维真实人脸图像到三维卡通人脸的自动生成.该生成方法轻量且能够满足用户的个性化需求,并已投入实际应用.     

采用快速图元匹配的手绘非规则军标识别

在线手绘非规则军标识别是基于草图的态势标绘系统的重要组成部分.针对非规则军标的图形线条可变性大的问题,提出一种结构化识别方法.首先定义并识别非规则军标草图的图元;然后用模糊方法描述图元间的拓扑关系,建立待识别样本与模板图形的图元匹配代价矩阵,并基于指派问题模型计算图形相似度;最后提出2种计算不完整的输入草图与模板图形相似度的方法.实验结果表明,文中方法是有效的.     

卡通角色艺术风格化变形方法

在总结卡通形象的艺术创作方法及其特点的基础上,将图形变形技术与艺术风格化技术相结合,提出一种卡通造型风格化变形规则套用的方法.首先对用户输入的卡通形象进行变形区域的选取,生成用于控制所选区域变形的二维自由变形(FFD)控制点网格;然后通过控制卡通图形上控制点的位置或直接套用已有的艺术化变形效果模板,采用图形区域分级策略及FFD方法对所选区域进行变形,使该区域变形为新的具有与模板相似艺术风格的效果,从而最终生成新的卡通造型.实验结果表明,与采用人工方法对卡通造型进行手动调整或重绘相比,该方法更加简易和高效,变形后的艺术化效果也更加丰富,其适用于卡通动漫领域的非真实感人物造型的风格化绘制.     

草绘3维人体建模的模板形变方法

目的 采用草绘交互方式直接构造3维人体模型是当前人体建模研究的重要课题之一.提出一种草绘3维人体建模的模板形变方法.方法 针对输入的草图,首先,采用关节点定位方法获取草图中的人体关节点,根据人体结构学约束识别人体骨架结构,通过解析人体轮廓草图获取人体草图特征;其次,通过骨架模板和外观轮廓模板形变,将草图特征映射到3维人体模型,实现3维人体建模.结果 草图解析方法能有效提取草图特征,通过模板形变方法生成3维人体模型,并在模型上保持草图特征;能适应不同用户的绘制习惯,且生成的3维人体模型可用于人体动画设计.结论 提出一种草绘3维人体建模的模板形变方法,支持用户采用草绘方式进行3维人体模型设计,方法具有良好的用户适应性,对3维动画创作具有重要意义.     

手绘草图识别中的相关反馈方法

手绘草图是人类思维外化和表达设计意图的有效工具之一,手绘草图的模糊性和用户适应性问题是草图识别中的关键问题。本文提出了将相关反馈机制引入到手绘草图识别中以捕捉用户意图的方法,该方法以抽取手绘草图的向量化特征为基础,首先利用基于图形特征的相似度计算,给出手绘草图候选识别结果集,然后借助用户对识别结果的相关性评价,通过逐渐调整图形构成特征的权重来捕捉用户输入意图,并提高识别效果。实验表明本文所提出的方法具有很好的效果。     

A generative sketch model for human hair analysis and synthesis

In this paper, we present a generative sketch model for human hair analysis and synthesis. We treat hair images as 2D piecewise smooth vector (flow) fields and, thus, our representation is view-based in contrast to the physically-based 3D hair models in graphics. The generative model has three levels. The bottom level is the high-frequency band of the hair image. The middle level is a piecewise smooth vector field for the hair orientation, gradient strength, and growth directions. The top level is an attribute sketch graph for representing the discontinuities in the vector field. A sketch graph typically has a number of sketch curves which are divided into 11 types of directed primitives. Each primitive is a small window (say 5 /spl times/ 7 pixels) where the orientations and growth directions are defined in parametric forms, for example, hair boundaries, occluding lines between hair strands, dividing lines on top of the hair, etc. In addition to the three level representation, we model the shading effects, i.e., the low-frequency band of the hair image, by a linear superposition of some Gaussian image bases and we encode the hair color by a color map. The inference algorithm is divided into two stages: 1) We compute the undirected orientation field and sketch graph from an input image and 2) we compute the hair growth direction for the sketch curves and the orientation field using a Swendsen-Wang cut algorithm. Both steps maximize a joint Bayesian posterior probability. The generative model provides a straightforward way for synthesizing realistic hair images and stylistic drawings (rendering) from a sketch graph and a few Gaussian bases. The latter can be either inferred from a real hair image or input (edited) manually using a simple sketching interface. We test our algorithm on a large data set of hair images with diverse hair styles. Analysis, synthesis, and rendering results are reported in the experiments.     

基于图像辅助的三维模型形状检索

随着3D建模技术的快速发展,互联网上可用的3D模型库出现了爆炸式增长,越来越多的3D模型可以方便地通过网络下载使用.这直接促使了3D形状检索技术的发展,即给出特定的搜索信息,要求系统搜索出符合要求的、相似的3D模型.文章提出了一种新的3D形状检索方法,以3D模型作为输入,系统将会从模型数据库中自动检索出与输入形状最相似的模型.对于给定的输入模型以及数据库中的每一个模型,首先由计算机生成多幅在不同视角下的2D草图;然后,应用Gabor滤波器对每一幅2D草图提取图像上的局部特征,并对特征进行量化,从而得到代表该图像特征的直方图,这样对于每一个3D模型将得到多个代表该模型的直方图;最终,通过对比两个模型之间直方图的相似性,可以得到它们的相似性值,从而检索出与输入模型最相似的模型.文章所提出的方法通过采取2D图像分析方法提取能反映3D模型的特征并计算出模型之间的相似性值.经过测试,在一些公开的数据集上得到了较好的效果.     

草图理解技术研究进展

本文概述了草图理解技术(包括草图识别和语义理解)的现状。首先，草图识别包括预处理和图形识别．根据各种图形处理机制，介绍了四种图形识别方法：基于笔划的、基于图元的、基于几何特征的、基于组合图形的。其次．深入分析了几个语义理解方法，一般包括三个环节：语义获取关系分析和高层应用。最后，本文提出了几何模型、用户模型和领域模型。讨论了草图理解中的主要问题并给出初步解决方案。     

基于草绘的机构识别及机构分析方法研究*

在概念设计阶段构造新型的支持创新过程的设计系统,对新产品的设计活动具有重要意义。在机械产品概念设计中将机构看成由图元构成的图形,提出一种面向概念设计的机构草图识别及分析方法,主要内容包括手绘草图输入及机构草图识别、机构方案运动分析。本文把手绘草图识别技术和机构运动相结合,通过对机构草图的识别以及机构的运动分析,实现在概念设计阶段对机构设计方案的评价分析。     

结合图元与感知哈希的手写输入简笔画识别

目的 为了克服手写输入中随意性强和自由度大的缺陷,同时兼顾简笔画的整体属性和局部特征,提出一种基于图元识别与感知哈希技术相结合的手写输入简笔画二级识别算法。方法 首先提取笔画的几何特征、笔序特征及结构特征且进行识别,然后查找由图元信息、笔画结构信息和笔序信息构成的简笔画语义库,完成由规则的几何图元构成的简笔画识别;若未被识别,则生成简笔画图像,利用感知哈希技术完成简笔画图像的识别。结果 基于本文提出的简笔画识别方法,实现了对样本库中150种简笔画对象的识别,平均识别率为82.6%。结论 实验结果表明,对于不同用户手写输入的任意样本库中的简笔画,该方法具有较高的识别率,此外,还可以通过在简笔画语义库和样本库中增加简笔画的种类等方式实现对更多种类简笔画的扩展识别。     

支持方案设计的手绘图形输入工具

手绘图形输入是表达设计意图，实现抽象概念与具体图形间相互转换的自然而有效手段之一、提出并初步实现了一个面向方案设计、采用在线图形识别方法和相似性相关反馈技术的手绘图形输人工具．在线图形识别方法将用户输入的笔画经过图形预处理、特征识别、图形拟合和规整等过程，即时地识别和预测用户的基本图形构造意图；相似性相关反馈技术则在基本图形按其空间和时间关系组合后，利用图形构成及其空间关系与图形模板的相似性计算，及时地捕捉和反馈用户输入图形的组成意图．实验表明：该工具具有很好的基本图形识别效果和良好的用户交互特性，为方案设计工具的研究提供了新的思路．     

基于双层级联GAN的草图到真实感图像的异质转换

不同于pix2pix框架将边缘线条图转换为真实感图像的工作,文中探讨更便于人机交互的手绘草图到真实感图像的转换问题.首先设计双层级联生成对抗网络(GAN)结构实现转换任务.第一层GAN根据草图的形态结构、语义内容等信息生成粗粒度真实感图像,第二层GAN将第一层的结果转换为更生动形象的高分辨真实感图像.然后,针对上述网络训练中现有可用的“草图-图像”数据集十分稀缺的问题,提出依据给定的图像自动生成模拟草图数据的方法.通过改进HED边缘检测算法获得草图轮廓,并采用移动最小二乘策略对轮廓进行变形,模拟草图形态意向可辨、线条简洁、具有随意性的特点.实验表明,将手绘草图作为输入,文中方法转换结果图的合理性和视觉真实感优于基于边缘线条图训练的方法.此外,文中方法可以推广到涉及草图处理的其它应用领域.     

Visual image retrieval by elastic matching of user sketches

Effective image retrieval by content from database requires that visual image properties are used instead of textual labels to properly index and recover pictorial data. Retrieval by shape similarity, given a user-sketched template is particularly challenging, owing to the difficulty to derive a similarity measure that closely conforms to the common perception of similarity by humans. In this paper, we present a technique which is based on elastic matching of sketched templates over the shapes in the images to evaluate similarity ranks. The degree of matching achieved and the elastic deformation energy spent by the sketch to achieve such a match are used to derive a measure of similarity between the sketch and the images in the database and to rank images to be displayed. The elastic matching is integrated with arrangements to provide scale invariance and take into account spatial relationships between objects in multi-object queries. Examples from a prototype system are expounded with considerations about the effectiveness of the approach and comparative performance analysis     

Adversarial Interactive Cartoon Sketch Colourization with Texture Constraint and Auxiliary Auto-Encoder

Colouring cartoon sketches can help children develop their intellect and inspire their artistic creativity. Unlike photo colourization or anime line art colourization, cartoon sketch colourization is challenging due to the scarcity of texture information and the irregularity of the line structure, which is mainly reflected in the phenomenon of colour-bleeding artifacts in generated images. We propose a colourization approach for cartoon sketches, which takes both sketches and colour hints as inputs to produce impressive images. To solve the problem of colour-bleeding artifacts, we propose a multi-discriminator colourization framework that introduces a texture discriminator in the conditional generative adversarial network (cGAN). Then we combined this framework with a pre-trained auxiliary auto-encoder, where an auxiliary feature loss is designed to further improve colour quality, and a condition input is introduced to increase the generalization ability over hand-drawn sketches. We present both quantitative and qualitative evaluations, which prove the effectiveness of our proposed method. We test our method on sketches of varying complexity and structure, then build an interactive programme based on our model for user study. Experimental results demonstrate that the method generates natural and consistent colour images in real time from sketches drawn by non-professionals.