基于贝叶斯网络的在线草图识别算法

针对手绘草图识别算法大多采用限制用户绘制习惯来实现笔画分组的问题,提出一种基于贝叶斯网络的手绘草图识别算法。该算法将手绘草图识别中的笔画分组和符号识别统一为一个过程,用贝叶斯网络拓扑结构来表达草图结构信息。基于该网络,根据最大后验概率对连续输入的笔画进行动态最优分组,同时在线预测每组笔画的符号类别。实验结果表明,该方法是一种有效的在线递进式笔画分组和识别算法,在电路符号手绘识别中达到71.3%的过程识别率和85%的最终识别率。     

基于深度卷积-递归神经网络的手绘草图识别方法

针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征,而忽略了草图中笔画的顺序信息的问题,利用手绘草图的笔画顺序信息,将深度卷积神经网络与递归神经网络相结合,提出一种基于深度卷积-递归神经网络的手绘草图识别方法.首先按照绘画草图时的笔画顺序提取笔画,生成多幅子笔画草图,并形成一个笔画数依次递增的子笔画草图序列;然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征,并将提取的图像特征按照原先子笔画草图排列的顺序进行排序,作为递归神经网络的输入;最后利用递归神经网络来构建不同图像特征间的时序关系,以提高手绘草图的识别准确率.在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明,文中方法能有效地提升手绘草图的识别准确率.     

在线多笔画重复绘制草图的判定与聚类

多笔画重复绘制是设计师传递设计意图的常用方式,为在手绘图识别系统中支持多笔画重复绘制,提出一种将在线多笔画重复绘制草图解释为二维线图的判定与聚类算法.首先通过笔画逼近折线段的折点序列,构造一个带圆弧过渡的等距边线围成的多边形区域作为笔画容差带;然后利用2条笔画之中最小包络矩形面积较小的笔画的采样点落入另一条笔画的容差带的个数,进行多笔画重复绘制的快速判定;最后提出将草图分成若干个子草图的聚类算法,根据子草图中笔画的单笔画识别结果将子草图分为同类型子草图和混合类型子草图,并给出相应的子草图拟合方法.通过自主开发的FSR_DJ原型系统对文中算法加以验证的结果表明,该算法能有效地解决多笔画重复绘制草图的识别问题,为后期手绘图的识别研究奠定了基础.     

基于语法描述语言的在线手绘流程图识别

提出了一种基于语法描述语言来对草图的结构和组成符号进行识别的方法。该方法将整个识别过程分为3步:首先,使用具有空间和时序约束的动态规划对笔画序列进行自由组合;然后通过神经网络分类器对笔画组合进行识别,生成候选符号集;最后,基于流程图构成的语法规则,对候选符号进行筛选,最终通过语法解析获得识别结果。在FCinkML数据上对该方法进行验证,结果表明了该方法的有效性。     

基于时空关系的在线多笔画手绘二次曲线识别

综合考虑笔画时空关系对在线多笔画手绘二次曲线进行识别。先对笔画识别结果进行基于时间间断的多笔画预处理将其识别为虚线或实线,然后详细讨论基于空间关系的多笔画手绘二次曲线的识别问题。将基于空间关系的二次曲线多笔画识别分为封闭二次曲线和非封闭二次曲线的多笔画识别,对前者给出采用最小中值二乘的多笔画拟合二次曲线方法。针对非封闭二次曲线提出广义笔画及其对应的旋转角和首尾点的概念,并从多笔画判定、草图生成、旋转角和首尾点的确定这3方面给出其多笔画识别方法。最后通过自主开发的FSR系统对文中算法加以验证。     

基于上下文的在线草图识别方法

支持用户自由连贯地绘制草图是在线草图识别研究的目标之一。本文提出一种使用空间关系等上下文和贝叶斯分类器进行草图识别的方法,其主要特点包括两个方面：第一,使用笔画空间关系进行自动笔画成组,可以在不打扰用户绘图的情况下完成候选符号的选取;第二,利用贝叶斯分类器实现在线草图识别,可以解决识别方法的领域相关性及画法敏感性问题。实验验证了方法的有效性。     

基于绘画时序的双层次笔画线条简化方法

虽然有电子画笔的帮助,将线条草图手动重画为干净的线条画依然耗费艺术家大量的时间,严重影响了创作效率.利用笔画的绘画时序,把简化模型从单一的空间关系提升到时间先后关系和笔画修改关系,提出一种双层次的笔画线条简化方法.在绘画过程中实时记录笔画线条的位置和顺序,根据空间信息和时序关系局部地进行线条初步聚类;然后通过修改关系图进行全局的线条类间修改关系分析,理解艺术家的绘画意图,最终合并得到简化结果.实验结果表明,文中方法能够充分利用绘画时序分析绘画意图,实现复杂线条草图的笔画线条自动简化,并通过效果对比展示了该方法的有效性和鲁棒性.     

基于贝叶斯网络的草图符号识别研究

针对草图识别算法大多通过限制用户绘制习惯来提高识别精确度的问题,提出一种动态构造贝叶斯网络模型的草图符号识别方法。该方法采用了从下而上与从上而下相结合的识别算法。从下而上实现笔画的分割,根据后验概率产生假设模板,继而产生图形模板。在从上而下的处理中,通过假设模板重构实现笔画重组、根据图形模板的空槽实现笔画识别的纠错处理。通过对UM工领域中草图符号的识别,表明算法能在不限制用户绘制习惯的基础上取得较好的识别效果。     

基于笔画容差带的手绘草图间断多笔画判定与拟合方法

在手绘草图的过程中经常会出现单一线元间断绘制的问题,为了将间断的笔画修整为单一线元以获得规范的设计图,提出了一种基于笔画容差带的手绘草图间断多笔画判定与拟合方法。该方法对输入的笔画进行折线化处理,得到笔画逼近折线段的折点序列,并判断笔画类型;根据笔画走势,绘制假想笔画以及扩展的笔画容差带,判定两笔画是否属于间断多笔画;聚类间断绘制多笔画,将笔画序列转换成子草图序列,并对子草图逐一进行拟合,从而得到规范的几何线元,这为实现由草图到规范设计图的识别提供了基础。     

基于注意力机制的时间分组深度网络行为识别算法

受人脑视觉感知机制启发,在深度学习框架下提出基于注意力机制的时间分组深度网络行为识别算法.针对局部时序信息在描述持续时间较长的复杂动作上的不足,使用视频分组稀疏抽样策略,以更低的成本进行视频级时间建模.在识别阶段引入通道注意力映射,进一步利用全局特征信息和捕捉分类兴趣点,执行通道特征重新校准,提高网络的表达能力.实验表明,文中算法在UCF101、HMDB51数据集上的识别准确率较高.     

中心误差扩散局部二值模式下的草图人脸识别

目前的草图人脸识别主要集中在人脸照片-草图之间的相互转换,以此减少照片-草图特征之间的差异,从而进行识别。文中提出一种使用基于中心误差扩散局部二值模式的编码方法来获得具有相同模式的人脸形式,减小照片-草图之间的差异。在草图识别实际是单样本人脸识别的背景下,通过小波包分解和局部二值模式编码扩充样本数目。然后使用PCA+LDA来提取特征进行识别。实验结果表明,该算法可有效减小照片-草图之间的模式差异,且识别率和性能要优于之前的基于伪草图合成的方法。     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

结合图元与感知哈希的手写输入简笔画识别

目的 为了克服手写输入中随意性强和自由度大的缺陷,同时兼顾简笔画的整体属性和局部特征,提出一种基于图元识别与感知哈希技术相结合的手写输入简笔画二级识别算法。方法 首先提取笔画的几何特征、笔序特征及结构特征且进行识别,然后查找由图元信息、笔画结构信息和笔序信息构成的简笔画语义库,完成由规则的几何图元构成的简笔画识别;若未被识别,则生成简笔画图像,利用感知哈希技术完成简笔画图像的识别。结果 基于本文提出的简笔画识别方法,实现了对样本库中150种简笔画对象的识别,平均识别率为82.6%。结论 实验结果表明,对于不同用户手写输入的任意样本库中的简笔画,该方法具有较高的识别率,此外,还可以通过在简笔画语义库和样本库中增加简笔画的种类等方式实现对更多种类简笔画的扩展识别。     

基于草绘的机构识别及机构分析方法研究*

在概念设计阶段构造新型的支持创新过程的设计系统,对新产品的设计活动具有重要意义。在机械产品概念设计中将机构看成由图元构成的图形,提出一种面向概念设计的机构草图识别及分析方法,主要内容包括手绘草图输入及机构草图识别、机构方案运动分析。本文把手绘草图识别技术和机构运动相结合,通过对机构草图的识别以及机构的运动分析,实现在概念设计阶段对机构设计方案的评价分析。     

基于跨模态自蒸馏的零样本草图检索

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像。因此,这个任务同时面临两个挑战：草图和图像之间的模态差异以及可见类和未见类的不一致性。过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入（如词向量和词相似度）来弥合可见类和未见类的语义不一致。在本文中,我们提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练。具体而言,我们首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络。然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性。为了进一步提升知识在草图模态内的集成和传播,我们进一步地提出草图自蒸馏。通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性。我们在三个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了我们提出的跨模态自蒸馏方法与当前方法相比较的优越性。     

基于深度学习的草图分割算法综述

草图一直是人类传递信息的重要工具之一.草图可以通过简单明了的形式更快地表达人类的一些复杂思想,因此,草图处理算法一直是计算机视觉领域的研究热点之一.目前,对草图的研究主要集中在识别、检索和补全等方面.随着研究者对于草图细粒度操作的重视,对草图分割方面的研究也得到越来越多的关注.近年来,随着深度学习与计算机视觉技术的发展,出现了大量基于深度学习的草图分割方法,草图分割的精确度和效率也都得到了较大提升.但是,由于草图自身的抽象性、稀疏性和多样性,草图分割仍然是一个非常具有挑战性的课题.对基于深度学习的草图分割算法进行整理、分类、分析和总结,首先阐述了3种基本的草图表示方法与常用的草图分割数据集,再按草图分割算法的预测结果分别介绍了草图语义分割、草图感知聚类与草图解析算法,然后在主要的数据集上收集与整理草图分割算法的评测结果并对结果进行分析,最后总结了草图分割相关的应用并探讨未来可能的发展方向.     

基于转换生成网络的素描人脸识别

针对素描图像和可见光图像存在较大模态差异这一问题,提出一种基于转换生成网络的素描人脸识别方法,该网络同时实现跨模态图像生成和素描人脸识别.转换生成网络由生成器、判别器和特征转换网络(S网络)组成.生成器生成图像,判别器使得生成图像具备两种模态信息,S网络提取高级语义特征来辅助生成图像和识别.使用端对端训练来更新模型参数...