CM-BOF: visual similarity-based 3D shape retrieval using Clock Matching and Bag-of-Features

Content-based 3D object retrieval has become an active topic in many research communities. In this paper, we propose a novel visual similarity-based 3D shape retrieval method (CM-BOF) using Clock Matching and Bag-of-Features. Specifically, pose normalization is first applied to each object to generate its canonical pose, and then the normalized object is represented by a set of depth-buffer images captured on the vertices of a given geodesic sphere. Afterwards, each image is described as a word histogram obtained by the vector quantization of the image’s salient local features. Finally, an efficient multi-view shape matching scheme (i.e., Clock Matching) is employed to measure the dissimilarity between two models. When applying the CM-BOF method in non-rigid 3D shape retrieval, multidimensional scaling (MDS) should be utilized before pose normalization to calculate the canonical form for each object. This paper also investigates several critical issues for the CM-BOF method, including the influence of the number of views, codebook, training data, and distance function. Experimental results on five commonly used benchmarks demonstrate that: (1) In contrast to the traditional Bag-of-Features, the time-consuming clustering is not necessary for the codebook construction of the CM-BOF approach; (2) Our methods are superior or comparable to the state of the art in applications of both rigid and non-rigid 3D shape retrieval.     

Feature-Preserved 3D Canonical Form

Measuring the dissimilarity between non-rigid objects is a challenging problem in 3D shape retrieval. One potential solution is to construct the models’ 3D canonical forms (i.e., isometry-invariant representations in 3D Euclidean space) on which any rigid shape matching algorithm can be applied. However, existing methods, which are typically based on embedding procedures, result in greatly distorted canonical forms, and thus could not provide satisfactory performance to distinguish non-rigid models. In this paper, we present a feature-preserved canonical form for non-rigid 3D watertight meshes. The basic idea is to naturally deform original models against corresponding initial canonical forms calculated by Multidimensional Scaling (MDS). Specifically, objects are first segmented into near-rigid subparts, and then, through properly-designed rotations and translations, original subparts are transformed into poses that correspond well with their positions and directions on MDS canonical forms. Final results are obtained by solving nonlinear minimization problems for optimal alignments and smoothing boundaries between subparts. Experiments on two non-rigid 3D shape benchmarks not only clearly verify the advantages of our algorithm against existing approaches, but also demonstrate that, with the help of the proposed canonical form, we can obtain significantly better retrieval accuracy compared to the state of the art.     

SR-SIHKS：一种非刚体全局形状特征

非刚体由于姿态变化会产出多样的形变,因此非刚体的形状检索比刚体更具挑战性。形状特征提取是非刚体三维模型形状检索的关键问题。为了提高非刚体形状检索的准确度,提出了一种非刚体全局形状特征提取方法。此方法的核心思想是将稀疏表示（Sparse Representation,SR）理论用于对尺度无关的热核特征（Scale Invariant Heat Kernel Signature,SIHKS）进行稀疏编码,因此被称为SR-SIHKS。改进了SIHKS局部特征的提取方法,根据所处理的模型库来自适应地确定热扩散时间参数;采用K-SVD算法来训练字典,借助Batch-OMP算法实现局部特征的稀疏编码;将非刚体三维模型的所有局部特征的稀疏编码汇聚为全局形状特征。实验结果表明,SR-SIHKS具有比SIHKS和HKS更优的检索效果。     

基于扩散距离和MDS的非刚性模型相似性分析

在非刚性模型相似性分析方法中, 基于测地距离的等距嵌入方法对模型拓扑变化非常敏感, 对于有局部拓扑变化的完全相似的模型也无法得到正确结果。为了弥补这一不足, 提高非刚性模型相似性分析的准确性, 将扩散距离与多维尺度分析(MDS)相结合, 计算非刚性模型的等距嵌入模型, 再利用迭代最近点(ICP)算法通过计算嵌入模型的相似性来实现原始非刚性模型的相似性分析。实例证明该方法对含有拓扑变化的非刚性模型可以得到理想的相似性分析结果。     

明显区域块和空间分布特征的图像检索

基于小波变换理论提出了一种明显区域块检测方法,改进了环型分割算法,使对视觉有意义的区域特征提取更加快捷、方便。该算法不仅考虑到区域内的图像特征,而且还考虑到明显区域块的空间分布信息,把环型区域的颜色矩和在明显区域块附近的Gabor特点,作为索引图像的特征向量。使用Corel图像库测试了提出的方法。实验表明,该方法切实可行。     

深度特征融合的非刚性三维形状局部匹配

针对海量、异构三维形状匹配与智能检索技术的需求,提出了一种基于级联卷积神经网络(F-PointCNN)深度特征融合的三维形状局部匹配方法.首先,采用特征袋模型,提出几何图像表示方法,该几何图像不仅能够有效区分同类异构的非刚性三维模型,而且能够揭示大尺度不完整三维模型的结构相似性.其次,构建级联卷积神经网络学习框架F-P...     

基于显著特征谱嵌入的三维模型相似性分析*

面向快速、高效的三维模型检索技术的迫切需求,提出基于显著特征谱嵌入的三维模型相似性分析方法.首先通过局部曲率及凸凹性检测,有效提取模型的显著特征点,构建模型的显著特征描述算子.然后基于拉普拉斯映射及谱分析原理进一步提取模型的内蕴形状特征.最后,结合薄板样条函数实现模型间的配准与相似性分析.通过实验验证文中方法不仅有效提高模型匹配的效率,而且能有效识别同一类模型的结构特征,同时对于残缺模型间的匹配具有较强的鲁棒性.     

基于分层弹性运动分析的非刚体跟踪方法

采用时--空分层的弹性运动跟踪策略, 提出了一种分析长时运动稳定结构与短时运动局部变化的非刚体运动跟踪方法. 首先, 基于序贯形状聚类的分段弹性运动跟踪模型, 将整段图像序列分割成若干子段, 并利用弹性运动分析方法得到子段内各帧边缘点的对应关系和各类的平均形状, 获取短时局部运动变化细节. 然后, 通过基于贝叶斯网的整体搜索算法寻找时序上相邻聚类平均形状之间的对应关系, 进而得到整段运动的公共形状, 用于表示长时运动稳定结构. 通过计算公共形状与各类平均形状之间的变形关系, 可以建立各聚类平均形状之间的对应关系, 实现分段运动的连接. 本方法的特点是不依赖先验模型、 通用性好、 目标的描述能力强. 实验表明, 本方法与现有不依赖模型的方法相比,具有更好的长时稳定性和更高的跟踪精确度.     

基于显著点和关键块相结合的图像检索方法

提出了一种基于小波变化显著点和基于关键块相结合的图像检索方法。首先利用小波变换提取图像的显著点,然后将图像划分成均匀的图像块,将图像块分为有显著点的和无显著点两类。提取块的低层次特征矢量,将两幅图像之间的匹配转换成图像块之间的匹配。在图像检索时,通过对这两类图像块分别进行相似性度量,对得到的结果加以不同的权重,以实现对图像局部或全局不同要求的检索。     

基于显著区域和pLSA的图像检索方法

由于利用全局特征的图像检索方法在很大程度上受到背景的影响,提出了一种基于显著区域和pLSA相结合的图像检索方法。该方法首先通过谱残差和多分辨率分析提取图像的显著目标区域,其次计算所有图像显著区域的颜色和纹理特征并利用K-均值聚类生成视觉词汇表,然后将每幅图像表示成若干视觉词汇的集合。最后利用概率潜在语义分析（pLSA）来提取区域潜在语义特征,并使用该特征构建SVM分类器模型进行图像检索。将本方法和基于全局特征的图像检索方法比较,实验结果表明,基于显著区域的图像检索结果更加准确。     

Evaluation of wavelet-based salient point detectors for image retrieval

Content-based image retrieval system based on global visual content features normally return the retrieval results according to the similarity between features extracted from the sample query image and candidate images. However, global features usually cannot capture different characteristics of different parts in the image. Therefore, the representation of local image properties is one of the most active research issues in content-based image retrieval. The method based on salient point detection is one of the typical and effective approaches. This paper proposes three improved salient point detectors based on wavelet transform, which are calculated in the three different orientations’ and scales’ subbands and weighted equally. In contrast to the former method based on salient point detection, the improved salient point detectors aim to extract the visual information in the image more effectively. We have tested the proposed schemes and compared four salient point detectors using a wide range of image samples from the Corel Image Library, and experimental results show that the improved salient point detectors have produced promising results.     

基于分层策略的三维非刚性模型配准算法

在三维非刚性模型分析中,通常需要对不同姿态下的模型进行配准。针对传统配准算法存在复杂度高、计算量大、精确度低等问题,提出一种新的基于分层策略的三维非刚性模型配准算法。首先,定义热核签名函数为模型的标量域,使用同源聚类算法提取模型的特征点和特征区域,进而提出三维几何模型的树形表示方法:它的根节点为三维几何模型,内部节点为模型的特征区域,叶节点为包含在相应区域的特征点。然后,根据三维几何模型的树形表示提出模型的分层配准算法。在SHREC 2010模型配准数据集上对比分析了分层配准算法、推广的多维尺度变换算法（GMDS）和博弈论方法在等距变换、孔洞、小孔洞、尺度变换、局部尺度变换、重采样、噪声、散粒噪声以及拓扑变换等情况下的性能。实验结果表明,在以上三维几何模型数据受干扰的情况下,分层配准算法的准确性明显优于GMDS方法和博弈论方法,同时具有较低的计算复杂度。     

改进复杂网络模型的形状特征提取

目的 传统的基于欧氏距离的复杂网络表示方法容易受形状的非刚性变形影响。鉴于此,提出一种基于复杂网络模型与相对一致性距离相结合的形状特征提取方法。方法 首先,提取形状的边界轮廓点作为网络的节点,利用节点间的相对一致性距离作为边的权值构建初始的复杂网络模型;然后,利用阈值演化方法对初始网络模型进行动态演化,得到一系列子网络;最后,提取不同演化阶段下子网络的拓扑特征,实现对形状特征的提取。结果 分类和检索实验结果表明,相比于传统的复杂网络描述方法,本文方法对形状图像具有更强的描述和识别能力。结论 相比于传统的距离度量,相对一致性距离对形状的非刚性变形具有更强的稳定性。     

基于模糊形状上下文与局部向量相似性约束的配准算法

非刚性点集配准研究是模式识别领域的一项重要基础研究.本文在当前流行的非刚性点集配准算法的基础上提出了两个主要贡献: 1)模糊形状上下文(Fuzzy shape context, FSC)特征; 2)基于局部向量特征的局部空间向量相似性约束项.本文首先进行基于特征互补的对应关系评估, 在这一步骤中定义了模糊形状上下文特征, 然后基于模糊形状上下文特征差异和全局特征差异设计了特征互补的高斯混合模型.其次, 进行基于约束互补的空间变化更新.在这一步骤中, 定义了局部向量特征, 建立了局部空间向量相似性约束项.本文算法通过使用特征互补的高斯混合模型进行对应关系评估, 并将配准问题转化为可以用期望最大化(Expectation maximization, EM)算法解决的参数优化问题, 通过创建包含局部空间向量相似性约束项的能量方程优化了空间变换更新.本文首先测试了模糊形状上下文特征的检索率, 然后采用公开数据集测试了算法在点集配准与图像配准的性能.在与当前流行的十种算法的对比实验中, 本文算法均给出了精确的配准结果, 并在大部分实验中精度超过了当前流行算法.