基于联合特征映射的端到端三维模型草图检索

在草图-三维模型检索任务中,草图具有类内多样性,三维模型具有复杂性,且草图-三维模型之间存在巨大的域间的差异性,这些特点的相互作用使得基于草图的三维模型检索任务变得特别困难.针对这一问题,提出一种基于联合特征映射的端到端三维模型草图检索框架.首先将三维模型转化为一组二维视图,建立跨域数据的共享数据空间;然后通过网络权值共享,建立端到端的三元度量学习网络,实现跨域数据草图和视图的联合特征映射;最后基于联合特征分布,提出4种草图-三维模型相似评价算法来实现草图-三维模型的检索.在大型公共数据集SHREC2013和SHREC2014上的检索精度分别为81.8%和75.6%,比现有算法在7项检索指标PR曲线, NN, FT, ST, E,DCG和MAP上都有所提升,检索性能突出.     

时空信息联合嵌入的端到端三维模型草图检索

现有的基于草图的三维模型检索工作往往将数据视为静态输入,并使用卷积神经网络进行特征提取,忽略了数据的动态属性,造成了有益信息的部分丢失,进而影响了以此为基础的检索效果.为解决这一问题,提出一种基于时空信息联合嵌入的端到端三维模型草图检索算法.首先,将草图表征为动态绘制序列,体现其绘制过程中所包含的时序信息;将三维模型表征为多视图序列,体现视图间的位置关联;然后,构建包含静态空间特征提取和动态时序特征提取的端到端双流网络,结合三元中心度量学习建立跨域数据的联合时空特征嵌入,充分捕捉草图和三维模型所包含的静态、动态特征,缩小跨域数据的差异性,提高检索的准确率;最后,在标准公开数据集SHREC2013和SHREC2014上进行实验,与现有工作相比获得了较高的准确率,验证了所提算法的可行性及有效性.     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。     

基于聚类的三维模型检索算法

将聚类算法应用于三雏模型对称特性的提取上,实现三维模型的检索.对三维模型表面进行采样,根据采样点计算三维模型的对称平面,通过聚类算法得出三维模型实际的对称平面,以此对称特性作为三维模型的特征信息,进行三维模型的检索.     

面向细粒度草图检索的对抗训练三元组网络

将草图作为检索示例用于图像检索称为基于草图的图像检索,简称草图检索.其中,细粒度检索问题或类内检索问题是2014年被研究者提出并快速成为广受关注的研究方向.目前研究者通常用三元组网络来解决类内检索问题,且取得了不错的效果.但是三元组网络的训练非常困难,很多情况下很难收敛甚至不收敛,且存在着容易过拟合的风险.借鉴循环生成对抗训练的思想,设计了SketchCycleGAN帮助提高三元组网络训练过程的效率,以对抗训练的方式使其参与到三元组网络的训练过程中,通过充分挖掘数据集自身信息的方式取代了利用其他数据集进行预训练的过程,在简化训练步骤的基础上取得了更好的检索性能.通过在常用的细粒度草图检索数据集上的一系列对比实验,证明了所提方法的有效性和优越性.     

基于哈希自注意力端到端网络的三维模型草图检索

为了提高草图和三维模型视图嵌入特征的聚类性,提出一种结合自注意力和哈希正则化约束的特征提取算法.首先将三维模型渲染得到二维视图集,并通过边缘检测在草图和视图之间建立统一的特征描述空间;然后在共享权重网络中嵌入自注意力层,通过结构信息自相关性编码提高草图和视图的聚类性,避免局部差异性对结果的影响;最后对特征进行哈希编码,...     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于RBF 神经网络集成的三维模型分类和检索

针对单个神经网络难以对复杂的三维模型特征空间有足够的优化能力和泛 化能力的问题,用Boosting 方法变种和基于粒子群训练的RBF 神经网络,形成特征空间对 应的多个神经网络,然后将神经网络集成,给出三维模型的分类信息。在三维模型检索时, 将神经网络集成输出的分类信息和特征空间上的距离信息进行加权计算,得到三维模型之间 的相似度。实验结果表明,基于RBF 神经网络集成的分类方法能有效提高三维模型的分类 准确率;同时,考虑特征空间上模型间的距离和语义分类层次上模型间的距离,能够大大提 高三维模型的检索精度。     

基于设计草图的零配件检索算法

在机械制造智能化进程中不可避免地产生了海量零配件模型信息,给数据的高效检索带来了巨大的挑战。考虑到设计草图具备用户友好且轻量级的特性,方法通过构造深度跨域表征模型进行基于设计草图的机械零配件模型检索。针对草图和三维模型的跨模态信息关联问题,提出特征联合学习方法,旨在控制检索对象类内及类间差异的过程中,使特征描述符习得单一域特征的同时融合跨域信息,建立跨模态数据在共嵌空间下的一致性关联表征。最后,利用哈希编码构建索引表实现海量数据的快速检索。在零部件数据上的实验结果表明,所提出的基于设计草图的零配件检索方法在同期方法中既能实现最准确的检索结果,也具备较高的检索效率。方法在提升跨模态零配件信息检索准确性的同时提高了数据管理效率,从而间接提升了产品设计的效率和便捷性,相关系统已经在部分企业落地应用且获得良好反馈。     

基于球体投影的三维模型检索

针对草图检索三维模型时存在的域不匹配和如何选取视图等问题,提出一种基于球体投影的三维模型检索方法。针对域不匹配问题,提出基于球体投影的二维视图获取方法,并使用高斯差分和贝塞尔曲线完成线图的提取;利用草图和投影图像之间的关系构建分类器,以获取模型的最优视图;通过两个Siamese网络获取草图和二维视图的特征,并用联合贝叶斯（Joint Bayesian）方法来融合二者的输出,从而获得最终结果。实验证明了该方法的可行性,与其他方法相比具有更好的检索效果。     

基于内容和语义的三维模型检索综述

多媒体信息的检索是信息复用的重要途径。三维模型检索作为三维建模过程中的关键技术之一,近年来随着三维建模的广泛运用而被深入研究。针对目前三维模型检索技术的进展,首先介绍了基于内容的检索技术,按照提取的特征将其分为四类：基于统计数据、基于几何外形、基于拓扑结构和基于视觉特征,分别介绍各类技术的主要成果和优缺点;然后介绍考虑语义信息,解决“语义鸿沟”现象的基于语义的检索方法,根据切入角度将其分为三类：相关性反馈、主动学习和本体技术,随后介绍了各类技术的相互关系与特点;最后总结和提出了三维模型检索的未来研究的发展方向。     

基于电场通量特征的3D模型检索方法

对基于内容的三维模型检索的应用背景和现有算法进行了研究。结合物理学的基本原理,提出了一种静电场电通量描述子,在三维模型的模拟电场中设置测试球壳,计算各个测试球壳内部的电通量,用以描述三维模型。该描述子具有平移、旋转和缩放不变的特征,并对噪声有较强的鲁棒性。实验证明该描述子具有较强的检索能力。     

一种基于切片的三维模型检索算法*

为了更加高效地从三维模型库中检索出相似模型,提出了一种基于切片的三维模型检索算法。首先应用主元分析对三维模型进行预处理;然后对预处理后的模型在不同位置和不同方向上进行切片,根据所得切片断面的相对面积进行三维模型检索。基于该算法设计并实现了三维模型检索系统。实验采用PSB(PrincetonShape Benchmark)提供的三维模型数据库,结果表明把模型的切片截面作为三维模型的特征描述,能有效地区分不同模型,并取得了较好的检索效果。     

A powerful relevance feedback mechanism for content-based 3D model retrieval

The technique of relevance feedback has been introduced to content-based 3D model retrieval, however, two essential issues which affect the retrieval performance have not been addressed. In this paper, a novel relevance feedback mechanism is presented, which effectively makes use of strengths of different feature vectors and perfectly solves the problem of small sample and asymmetry. During the retrieval process, the proposed method takes the user’s feedback details as the relevant information of query model, and then dynamically updates two important parameters of each feature vector, narrowing the gap between high-level semantic knowledge and low-level object representation. The experiments, based on the publicly available 3D model database Princeton Shape Benchmark (PSB), show that the proposed approach not only precisely captures the user’s semantic knowledge, but also significantly improves the retrieval performance of 3D model retrieval. Compared with three state-of-the-art query refinement schemes for 3D model retrieval, it provides superior retrieval effectiveness only with a few rounds of relevance feedback based on several standard measures.

3D CAD model retrieval with perturbed Laplacian spectra

This paper presents a novel approach to the 3D CAD model retrieval, whereby the 3D models are treated and matched as undirected graphs. While there is much success made in the matching of graphs based on their spectral decomposition, most of these approaches consider smooth surfaces and are not suitable for CAD models because of their complex topology and singular structure. In the proposed approach, the models are simplified based on the piecewise flat properties of the surfaces first, and a perturbed Laplacian spectrum approach is then applied to characterize the shape. These spectral values are used as samples for spectral distribution estimation. The perturbed spectral distributions of different models are then compared by their KL-divergence for model retrieval. The proposed approach is tested with models from known 3D CAD database for verification.     

三维模型检索中的预处理技术

随着三维建模技术和数字化技术的发展,基于内容的三维模型检索技术应运而生.由于三维模型是一种自由度很高的信息,在特征提取之前对三维模型进行坐标系归一化预处理,从而保证所提取特征的平移不变性、比例不变性和旋转不变性,使得同样的三维模型在不同的坐标系下具有相同的相似度,这样可以提高基于内容的三维模型相似性比较算法的准确性.而预处理的效果对检索性能有着很大的影响,对PCA和各向异性变换这两种主要预处理技术进行了研究.