基于草图查询的语义对象图像检索

针对图像低层特征和高层语义之间存在的语义鸿沟问题,提出一种结合草图查询和相关反馈的语义对象图像检索系统.该系统首先根据用户输入的手绘草图,利用形状(轮廓、区域和骨架)特征从对象库中初步检索出语义对象并保存其区域组合;然后根据用户选择的反馈对象并结合查询草图提取用户检索对象的语义特征(形状、区域及拓扑特征),最后采用寻找最优区域配对的方法在系统特征库中进行检索.实验结果表明,本文方法不但对用户需求的语义对象有较好的检索效果,而且还能较准确地在结果图像中框选出用户感兴趣的语义对象.     

基于自适应多类中心和半异构网络的三维模型草图检索

草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注.然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点的相互作用严重影响检索的准确性.针对以上问题,提出了一种基于自适应多类中心和半异构网络的三维模型草图...     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。     

三维手绘CAD系统的设计与表达

描述了一个基于手绘草图的三维设计系统,并给出了该系统的体系结构．该系统采用以草绘手势规则和草图语义自动机为基础的设计与表达的思路,描述了草图语义的获取、表达和理解方法,从而较好地支持了早期的三维产品概念设计．该系统以手写笔和手写板为交互输入设备,能够自然、高效地进行一些复杂的三维实体和三维场景设计．     

融合Fuzzy拓扑关系与CRSC的三维模型检索方法

针对手绘草图检索三维模型时存在的表达模糊性和绘制随意性等问题,提出基于Fuzzy拓扑关系与角点典型形状上下文（CRSC）的三维模型检索方法。在该方法中,采用二元图元的Fuzzy拓扑关系描述图形的整体结构信息,并优化图元间特征向量的冗余问题,实现用户绘制过程中对检索结果的实时准确响应,并结合CRSC进一步提高检索的识别率和鲁棒性。针对模型多视角渲染的独特性,提出节点近邻遍历算法。实验结果表明,该方法具备较高识别率,提高了用户绘制效率。     

基于内容和语义的三维模型检索综述

多媒体信息的检索是信息复用的重要途径。三维模型检索作为三维建模过程中的关键技术之一,近年来随着三维建模的广泛运用而被深入研究。针对目前三维模型检索技术的进展,首先介绍了基于内容的检索技术,按照提取的特征将其分为四类：基于统计数据、基于几何外形、基于拓扑结构和基于视觉特征,分别介绍各类技术的主要成果和优缺点;然后介绍考虑语义信息,解决“语义鸿沟”现象的基于语义的检索方法,根据切入角度将其分为三类：相关性反馈、主动学习和本体技术,随后介绍了各类技术的相互关系与特点;最后总结和提出了三维模型检索的未来研究的发展方向。     

融合信息熵和CNN 的基于手绘的三维模型检索

基于手绘草图的三维模型检索(SBSR)已成为三维模型检索、模式识别与计算机视 觉领域的一个研究热点。与传统方法相比,基于卷积神经网络(CNN)的三维深度表示方法在三 维模型检索任务中性能优势非常明显。本文提出了一种基于手绘图像融合信息熵和CNN 的三 维模型检索方法。首先,通过计算模型投影图的信息熵得到模型的代表性视图,并将代表性视 图经过边缘检测等处理得到三维模型投影图的轮廓图像;然后,将轮廓图像和手绘草图输入到 CNN 中提取特征描述子,并进行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012 数据库和SHREC 2013 数据库上进行实验。实验证明,该方法的效果较其他传统方法检索准确 度更高。     

基于轮廓的手绘草图检索研究

利用傅利叶形状描述方法来统一描述手绘草图图像库和用户输入的手绘草图形状信息,该方法解决了基于笔划描述的计算效率和输入顺序敏感性问题。实验表明所提出的方法不仅能得到较好的检索结果,且具有较好的用户适应性。     

基于Leap Motion的三维模型草图检索

对三维模型检索的需求在搜索领域日益增长,而基于草图的三维模型检索也已然成为最为有效且易用的检索方式。为了更好地提升草图检索的体验,着眼于人机交互的方式并对其加以改进是必由之路。其中,Leap Motion系统可高精度实时检测并跟踪手指的位置和手势信息等,为大屏幕、远距离交互提供了有效途径。文中提出了一种基于Leap Motion的三维模型草图检索系统用于三维模型检索。通过Leap Motion获得的数据将手的运动模拟信息实时地反映到浏览器上,实现草图的绘制和模型的检索。在草图检索部分,提出了一种改进的流形排序方法用于对模型间的相似度进行排序,结合模型语义分类信息的排序约束方法,提高了同类模型的排名分数。实验显示,该方法使得草图检索更加贴近和方便用户,进一步提高了草图检索的易用性以及三维模型检索的准确性。     

基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

Sketch-based 3D model retrieval by incorporating 2D-3D alignment

Sketch-based 3D model retrieval is very important for applications such as 3D modeling and recognition. In this paper, a sketch-based retrieval algorithm is proposed based on a 3D model feature named View Context and 2D relative shape context matching. To enhance the accuracy of 2D sketch-3D model correspondence as well as the retrieval performance, we propose to align a 3D model with a query 2D sketch before measuring their distance. First, we efficiently select some candidate views from a set of densely sampled views of the 3D model to align the sketch and the model based on their View Context similarities. Then, we compute the more accurate relative shape context distance between the sketch and every candidate view, and regard the minimum one as the sketch-model distance. To speed up retrieval, we precompute the View Context and relative shape context features of the sample views of all the 3D models in the database. Comparative and evaluative experiments based on hand-drawn and standard line drawing sketches demonstrate the effectiveness and robustness of our approach and it significantly outperforms several latest sketch-based retrieval algorithms.     

A survey on freehand sketch recognition and retrieval

With the development of digital devices and pressure sensing equipment, research into freehand sketches from touch-screen interfaces has increased significantly in recent years. As such, we provide the first comprehensive survey of recognition tasks based on sketch generation, freehand sketch classification, sketch-based image retrieval (SBIR), fine-grained sketch-based image retrieval (FG-SBIR), and sketch-based 3D shape image retrieval. Specifically, SBIR and FG-SBIR were the main focus of the survey. Primary technologies and benchmark datasets related to all sketch-based recognition topics are also discussed, along with future trends for this promising technology.     

基于高斯过程分类器的三维模型多粒度语义检索

为解决三维模型语义检索中用户检索意图不一致问题,建立多粒度语义检索框架,使学习模型能够有效地适应用户的不同检索意图。首先对模型分类知识进行层次划分,形成语义概念的多粒度结构。然后提取一种多视图特征来描述三维模型的形状特性,并采用高斯过程分类器建立不同粒度层次上的学习模型,实现低层特征和查询概念之间的语义一致性描述。和已有研究相比,多粒度语义检索框架使用户可通过语义粒度级别变化进行检索意图设置,从而检索结果尽可能符合用户语义。在实验部分,采用三维模型基准数据库对框架进行算法性能测试。结果表明,检索准确率要明显提高,并且符合人类思维特点。     

一个相关反馈三维模型深度图像检索算法

基于图像的三维模型检索比形状特征和拓扑结构特征具有更易于实现且检索效果好等优点,但现有基于图像的三维模型检索方法存在一些问题,如没有考虑三维深度信息、所提特征不能全部表达三维模型信息且不能实现用户交互操作等。对此提出一种基于深度图像的三维模型相关反馈检索算法:首先提取三维模型深度图像边界方向直方图和Zernike矩特征;然后利用特征距离度量进行三维模型检索,并采用相关反馈技术实现分类器的构造和模型的标注;最后利用调整好的权值分类器进行检索和标注。实验表明,该算法实现了三维模型的相关反馈检索和标注,提高了检索的精确性,并增强了系统的实用性,为进一步进行语义检索打下基础。     

草绘3维人体建模的模板形变方法

目的 采用草绘交互方式直接构造3维人体模型是当前人体建模研究的重要课题之一.提出一种草绘3维人体建模的模板形变方法.方法 针对输入的草图,首先,采用关节点定位方法获取草图中的人体关节点,根据人体结构学约束识别人体骨架结构,通过解析人体轮廓草图获取人体草图特征;其次,通过骨架模板和外观轮廓模板形变,将草图特征映射到3维人体模型,实现3维人体建模.结果 草图解析方法能有效提取草图特征,通过模板形变方法生成3维人体模型,并在模型上保持草图特征;能适应不同用户的绘制习惯,且生成的3维人体模型可用于人体动画设计.结论 提出一种草绘3维人体建模的模板形变方法,支持用户采用草绘方式进行3维人体模型设计,方法具有良好的用户适应性,对3维动画创作具有重要意义.     

作基于常识库支持的图像描述和检索系统*

分析了图像检索系统的研究现状,指出了出现语义鸿沟的原因在于系统中缺乏对于实体相互关系的描述,提出了一个四层的图像语义模型,并在此基础上给出了基于常识库和图像实体库的图像描述和检索模型。以图像的颜色、纹理、形状等特征来构造实体的描述信息,并以常识库信息来分析图像场景中的实体构成和关系,从而获得对图像语义信息的识别和理解。