基于草图的人机交互技术研究进展

从草图识别和语义理解这两个方面对基于草图的人机交互技术的研究状况进行了分析和总结．对草图识别方法按其模式单元定义（笔划、图元、特征和组合图形）进行了分类和剖析;对草图语义理解所涉及的语义获取、语义解释和语义应用这三个关键问题及其解决方法进行了分析和阐述;并分别从基于草图的人机交互技术的几何模糊性、用户适应性和应用独旁性及其关系角度提出了这一领域的主要研究课题及其解决思路．     

笔输入草图的分层识别

针对计算机支持的草图设计技术中的草图识别这个核心问题，给出了一套分步逐层的识别方案：从原始笔划的在线识别与线元转换，到几何层基于上下文的草图规整，到语义层基于领域知识的草图理解．整个识别过程通过一个带有黑板的知识库系统实现，逐步有效地解决了草图的模糊性与不确定性，将原始草图转换为精确的几何图形．文中方法已经过原型草图工具系统ISID的验证，并取得良好效果．     

采用遗传算法的手绘草图关系模板生成方法

草图理解包含两个方面：草图图形识别和草图布局分析．但目前的研究大部分集中于一些特殊图形的草图识别上。实际上，草图布局分析对草图信息内容的发现，尤其是在获取其构思方面更为重要。本文为事实草图图形的布局分析提出了一种基于遗传算法的模板生成方法．在定义和描绘了布局模式的基础上．本方法能找出有潜在语义的图形对象间的模式。实验表明：遗传算法能够有效找出明显或是潜在的模式，并能很减轻手工标注模式的负担。     

一种基于图匹配的复杂草图识别方法

复杂草图识别是手绘草图输入中的一个困难任务。现存的草图识别方法强调的是图形对象简单．但这不适合具有不同复杂性的复杂草图的识别。本文对具有不同复杂性的复杂图形对象提出一个基于图形的统一表示法，文中根据不同信息枉度将复杂图形分别转化为空间关系图(SRG)。文中提出了一个约束的部分枚举．以减小识别复杂草图时匹配SRG的状态空间。实验结果显示．我们的方法可适用于具有不同复杂度的各种复杂图形对象的识别。     

在线草图识别中用户手绘习惯建模方法

手绘草图是概念设计和思路外化的一种高效的表达方式。用户绘制草图时存在的多种形式，及其随意性和模糊性使得用户适应性问题逐渐成为草图识别的核心课题。本文提出了一种在线草图识别的用户建模方法来捕捉绘制草图时的用户习惯，主要包括两个方面的内容：一是基于SVM的主动式增量学习方法，二是基于动态用户建模的手绘复杂图形的识别方法。前者与传统的增量式学习方法相比，在识别精度相同的情况下所需的训练时间和训练数据集要少得多。后者则是基于笔划信息以及笔划间的顺序和空间关系信息，采用增量式决策树捕捉用户的输入习惯和过程信息。实验证明了本文方法在在线草图识别中的有效性和高效性。     

基于用户建模的手绘草图识别

在线草图识别包括预处理、特征提取、图形规整和用户建模等几个方面的问题。其中用户建模是手绘草图识别的核心和关键问题。提出了一种在线草图识别用户建模方法,方法用动态用户建模技术进行笔划和复杂图形的识别。方法采用增量决策树记录草图的笔划构成及其手绘过程,实现对复杂手绘草图的用户建模和在线识别。实验表明所提出的方法不仅能得到较好的检索结果,而且具有较好的用户适用性     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

手绘草图识别中的相关反馈方法

手绘草图是人类思维外化和表达设计意图的有效工具之一,手绘草图的模糊性和用户适应性问题是草图识别中的关键问题。本文提出了将相关反馈机制引入到手绘草图识别中以捕捉用户意图的方法,该方法以抽取手绘草图的向量化特征为基础,首先利用基于图形特征的相似度计算,给出手绘草图候选识别结果集,然后借助用户对识别结果的相关性评价,通过逐渐调整图形构成特征的权重来捕捉用户输入意图,并提高识别效果。实验表明本文所提出的方法具有很好的效果。     

具有实时反馈的草图交互识别方法

针对同步在线草图识别算法中的效率和应用范围问题,提出基于增量式意图提取的识别算法．算法通过定义滞后窗口,采用增量式意图提取的方式理解用户的勾画意图,进而根据当前信息修正以前生成的意图段落,使得识别结果和用户的勾画意图保持一致．实验证明,该算法能够准确、实时地识别用户输入的多种图形．     

用RCR特征和NN识别实时手绘工程草图

针对实时手绘工程草图(简称手绘草图)的识别，引入草图重心、重径距和正规化重径(RCR)等图形特征概念，提出手绘草图的神经网识别方法．该方法以图素具有统计意义的正规化重径作为特征、以图素交叉方式组织正规化重径的值作为学习样本，应用弹力传播的Rprop算法训练BP神经网，一次训练即可得到能够识别任意倾角和位置手绘草图图素的识别器．从而达到了理想的识别效果．     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

基于语法描述语言的在线手绘流程图识别

提出了一种基于语法描述语言来对草图的结构和组成符号进行识别的方法。该方法将整个识别过程分为3步:首先,使用具有空间和时序约束的动态规划对笔画序列进行自由组合;然后通过神经网络分类器对笔画组合进行识别,生成候选符号集;最后,基于流程图构成的语法规则,对候选符号进行筛选,最终通过语法解析获得识别结果。在FCinkML数据上对该方法进行验证,结果表明了该方法的有效性。     

基于时序特征的草图识别方法

草图识别是一项很具有挑战性的工作。目前,大部分草图识别的工作都将草图当作普通的纹理图像,忽视了草图的时序性。因此,文中通过挖掘草图的时序性,将草图笔画按照时间分组。为进一步利用时序特征在草图识别过程中的作用,使用了循环神经网络将笔画分组按照时间序列作为输入,最后使用联合贝叶斯将各个时序下获得的草图特征进行整合,完成草图的识别工作。在公开标准数据集上对所提算法进行了测试,实验结果显示该算法的识别准确率明显高于其他算法。     

Sketch recognition by fusion of temporal and image-based features

The increasing availability of pen-based hardware has recently resulted in a parallel growth in sketch-based user interfaces. Sketch-based user interfaces aim to combine the expressive power of free-hand sketching with the processing power of computers. Most sketch-based systems require intelligent ink processing capabilities, which makes the development of robust sketch recognition algorithms a primary concern in the field. So far, the research in sketch recognition has produced various independent approaches to recognition, each of which uses a particular kind of information (e.g., geometric and spatial constraints, image-based features, temporal stroke-ordering patterns). These methods were designed in isolation as stand-alone algorithms, and there has been little work treating various recognition methods as alternative sources of information that can be combined to increase sketch recognition accuracy. In this paper, we focus on two such methods and fuse an image-based method with a time-based method in an attempt to combine the knowledge of how objects look (image data) with the knowledge of how they are drawn (temporal data). In the course of combining spatial and temporal information, we also introduce a mathematically well founded fusion method for combining recognizers. Our combination method can be used for isolated sketch recognition as well as full diagram recognition. Our evaluation with two databases shows that fusing image-based and temporal features yields higher recognition rates. These results are the first to confirm the complementary nature of image-based and temporal recognition methods for full sketch recognition, which has long been suggested, but never supported by data.     

面向概念设计的组合图形草图识别方法

提出了一种面向机械产品概念设计的组合图形草图识别方法。将图形符号看作由多个单笔划图元构成的图形,首先识别出单个图元的类型并提取它们之间的空间位置关系;然后利用结构匹配法对标准图形结构进行定义,将用户绘制的图形与标准图形结构模板进行比较,筛选出结构相同的图形进行第一次图形过滤;再利用傅里叶形状描述子对图形形状进行描述,计算出图形形状相似度,筛选出形状相同的图形进行第二次过滤;最后将结构与形状两个特征相结合并运用到机械概念草图设计中,快速并准确地识别出机构运动副,实现机械结构的草图识别。     

基于隐性马尔可夫模型的手势识别设计和优化

新型的笔式交互技术要求能够高效地识别用户手势,适应用户的手绘风格。本文建立了基于隐形马尔可夫的手势识别模型,在此基础上提出了在重采样阶段的中点补偿方法和编码阶段的方向编码优化方法。实验结果表明该识别模型能以更精简的采样点数量表示手势并给出良好的识别结果,减少了模型训练的运算量。     

基于范畴论的素描数据模型

针对关系数据库语义表达的不足,讨论了一种语义数据模型--基于范畴论的素描数据模型,从素描数据模型的形式化定义出发,以一种非形式化的方法分析了素描数据模型的基本概念,为更好地使用素描数据模型提供了基础.     

基于图形理解的建筑结构三维重建技术

在实际应用中,现有的三维重建算法无法有效地应用到建筑领域.以建筑行业的基本制图规范为指导,结合图形识别理解和人工智能技术,提出了一种基于图形理解的建筑结构三视图自动识别与重建方法.该方法以自动识别建筑构件的轮廓为基础,通过对符号、注释等语义信息的理解与综合以及对相邻实体间拓扑关系的分析,快捷、有效地完成对建筑物的整体重建.实验结果表明,在少量人机交互的基础上,该方法对实际的建筑图是有效的.