多模态特征融合与词嵌入驱动的三维检索方法

在基于点云和图像的三维模型分类检索中,现有特征融合方法忽略了模态内的特征信息和模态间的互补信息,存在融合特征丢失的问题,且分类标签和预测特征之间缺乏高维相关性,检索准确率较低。针对该问题,提出一种多模态特征和词嵌入联合驱动的网络结构,以对三维模型进行分类检索。在特征提取过程中,利用特征提取器提取来自点云和视图的三维模型特征,通过共享空间来对齐不同模态的特征。在模态融合过程中,计算不同模态之间的余弦相似度以增强模态特征,将增强特征进行拼接得到融合特征。在模型特征分类的过程中,通过建立词嵌入模型与分类标签的高维相关性实现三维模型特征的统一表示和分类检索。在ModelNet10和ModelNet40数据集上进行实验,结果表明,该网络的平均检索精度均值分别达到92.9%和91.5%,可以获取精准的三维模型特征描述符,与VoxNet、SCIF、MVCNN等检索方法相比,其能显著提高三维模型的检索精度和分类准确率。     

深度卷积特征向量用于快速人脸图像检索

针对计算机视觉领域的人脸图像检索计算复杂和检索时长问题,提出一种基于深度卷积特征的快速人脸图像检索算法.首先使用人脸图像训练集对深度卷积神经网络模型进行人脸分类训练;然后采用三元组损失方法对已训练好的人脸分类网络模型进行微调,更新网络的参数,使得网络能够更加有效地提取不同人的人脸图像特征,构建高效的卷积特征向量进行人脸检索初步过滤;为了进一步提高系统的检索性能,提出一阶段查询扩展方法对待检索人脸图像的卷积特征向量进行均值融合加强,再次执行检索任务,得到最终的检索结果.在Celebrities Face Set和Labeled Faces in the Wild dataset这2个人脸检索数据集上进行实验的结果表明,该算法不仅能够显著地提高检索结果的准确率,而且简单可靠,能够快速地实现人脸检索任务.     

融合多维度卷积神经网络的肺结节分类方法

针对CT图像肺结节分类任务中分类精度低,假阳性高的问题,提出了一种加权融合多维度卷积神经网络的肺结节分类模型,该模型包含两个子模型：基于二维图像的多尺度密集卷积网络模型,以捕获更宽泛的结节变化特征并促进特征重用;基于三维图像的三维卷积神经网络模型,以充分利用结节空间上下文信息。使用二维和三维CT图像训练子模型,根据子模型分类误差计算其权重,对子模型分类结果进行加权融合,得到最终分类结果。该模型在公共数据集LIDC-IDRI上分类准确率达到94.25%,AUC值达到98%。实验结果表明,加权融合多维度模型可以有效地提升肺结节分类性能。     

基于RBF 神经网络集成的三维模型分类和检索

针对单个神经网络难以对复杂的三维模型特征空间有足够的优化能力和泛 化能力的问题,用Boosting 方法变种和基于粒子群训练的RBF 神经网络,形成特征空间对 应的多个神经网络,然后将神经网络集成,给出三维模型的分类信息。在三维模型检索时, 将神经网络集成输出的分类信息和特征空间上的距离信息进行加权计算,得到三维模型之间 的相似度。实验结果表明,基于RBF 神经网络集成的分类方法能有效提高三维模型的分类 准确率;同时,考虑特征空间上模型间的距离和语义分类层次上模型间的距离,能够大大提 高三维模型的检索精度。     

融合信息熵和CNN 的基于手绘的三维模型检索

基于手绘草图的三维模型检索(SBSR)已成为三维模型检索、模式识别与计算机视 觉领域的一个研究热点。与传统方法相比,基于卷积神经网络(CNN)的三维深度表示方法在三 维模型检索任务中性能优势非常明显。本文提出了一种基于手绘图像融合信息熵和CNN 的三 维模型检索方法。首先,通过计算模型投影图的信息熵得到模型的代表性视图,并将代表性视 图经过边缘检测等处理得到三维模型投影图的轮廓图像;然后,将轮廓图像和手绘草图输入到 CNN 中提取特征描述子,并进行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012 数据库和SHREC 2013 数据库上进行实验。实验证明,该方法的效果较其他传统方法检索准确 度更高。     

基于自监督学习的输电线路螺栓螺母异常检测技术

针对输电线路螺栓螺母异常检测问题,对无标签螺栓数据训练深度学习预训练模型进行了研究,首次采用了自监督学习的方法,使用大量无标签数据集进行学习,首先,使用少量带标签的螺栓目标检测数据集训练目标检测模型,推理获取大量的单图无标签螺栓数据集,然后,采用自监督学习方法通过单图无标签螺栓数据集训练螺栓预训练大模型并获取可视化的螺栓注意力图,最后通过实验对比螺栓预训练大模型在螺栓分类和检索任务中与非预训练模型的效果,实验结果表明无标签数据得到的预训练大模型可以注意到螺杆、螺母、连接件的位置,进一步表明螺栓预训练大模型在分类任务中准确率提升了2%到7%,在螺栓检索任务中平均精度提升了8%。     

基于渲染图像角度结构特征的三维模型检索方法

为了充分利用三维模型的颜色、形状、纹理等特征,提出以三维模型渲染图像为数据集,利用渲染图像角度结构特征实现三维模型检索。首先,该方法以三维模型渲染图像为测试集,利用已有类别标记的自然图像作为训练集,通过骨架形状上下文特征对渲染图像进行分类,提取角度结构特征,建立特征库;然后,对输入的自然图像提取角度结构特征,与特征库中的角度结构特征进行相似度匹配计算,实现三维模型检索。实验结果表明, 充分利用 渲染图像的颜色、形状和空间信息是实现三维模型检索的有效方法。     

深度学习的三维模型识别研究综述

随着三维扫描仪、LiDAR等三维视觉感知设备的快速发展,三维模型识别方向正逐渐引起越来越多的研究者的关注。该领域的核心任务是三维模型的分类与检索。深度学习技术在二维视觉任务方面已经取得显著的成就,将这一技术引入三维视觉领域不仅突破了传统方法的限制,还在自动驾驶、智能机器人等领域取得了引人瞩目的进展。然而,将深度学习技术应用于三维模型识别任务仍然面临着多项挑战。鉴于此,对深度学习在三维模型识别任务中的应用进行综述。首先,论述了常用的评价指标和公开数据集,介绍每个数据集的相关信息和来源。接着,从多个角度出发,包括点云、视图、体素以及多模态融合等,详细介绍现有具有代表性的方法,并梳理了近年来的相关研究工作。通过在数据集上对这些方法的性能进行对比,分析各个方法的优势和局限性。最后,基于各类方法的利弊,总结当前亟待解决的三维模型识别任务中的挑战,并展望了未来在该领域的发展趋势。     

基于多视图网络三维形状检索的通用扰动攻击

几何深度学习模型在三维形状检索任务中已应用,其安全评估工作也引起了研究者们的关注.该文针对三维形状检索评估提出一种基于多视图通用扰动攻击(MvUPA)的对抗攻击方法,其具有高成功率的攻击效果.首先设计多视角深度全景图检索模型,训练适用于视图类三维形状检索的高效嵌入向量;其次,为三维形状检索提出有益于通用扰动更新的损失函...     

深度多模态融合服装风格检索

目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet（residual network）进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM（long short-term memory）设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。     

基于多特征融合的三维模型检索算法

针对三维模型检索中单一特征检索效果差的难题,首先提出了三维模型的3类特征向量提取算法,即刻画模型表面特性的扩展高斯球面特征向量、反映模型内部结构的Radon变换球面分布特征向量、代表模型投影层次的视图分层压缩感知特征向量。其次,以样本模型的查询结果分类信息熵作为指标并结合监督学习过程,给出了一种多特征融合的加权系数估算方法。最后,设计了融合多特征的模型间相似度度量,完成基于查询示例的模型检索过程。仿真实验表明,提出的3类特征向量具有较好的可区分性,多特征融合检索算法的查全率与查准率有明显提升。     

3D shape recognition based on multi-modal information fusion

The classification and retrieval of 3D models have been widely used in the field of multimedia and computer vision. With the rapid development of computer graphics, different algorithms corresponding to different representations of 3D models have achieved the best performance. The advances in deep learning also encourage various deep models for 3D feature representation. For multi-view, point cloud, and PANORAMA-view, different models have shown significant performance on 3D shape classification. However, There’s not a way to consider utilizing the fusion information of multi-modal for 3D shape classification. In our opinion, We propose a novel multi-modal information fusion method for 3D shape classification, which can fully utilize the advantage of different modal to predict the label of class. More specifically, the proposed can effectively fuse more modal information. it is easy to utilize in other similar applications. We have evaluated our framework on the popular dataset ModelNet40 for the classification task on 3D shape. Series experimental results and comparisons with state-of-the-art methods demonstrate the validity of our approach.

     

一个相关反馈三维模型深度图像检索算法

基于图像的三维模型检索比形状特征和拓扑结构特征具有更易于实现且检索效果好等优点,但现有基于图像的三维模型检索方法存在一些问题,如没有考虑三维深度信息、所提特征不能全部表达三维模型信息且不能实现用户交互操作等。对此提出一种基于深度图像的三维模型相关反馈检索算法:首先提取三维模型深度图像边界方向直方图和Zernike矩特征;然后利用特征距离度量进行三维模型检索,并采用相关反馈技术实现分类器的构造和模型的标注;最后利用调整好的权值分类器进行检索和标注。实验表明,该算法实现了三维模型的相关反馈检索和标注,提高了检索的精确性,并增强了系统的实用性,为进一步进行语义检索打下基础。     

3D model retrieval via single image based on feature mapping

With the development of manufacture, more and more 3D models are generated by users and many differnet factories. 3D model retrieval has been receiving more and more attention in computer vision and the field of data analysis. In this paper, we propose a novel 3D model retrieval algorithm by cross-modal feature mapping (CMFM), which utilize one single image as query information to address 3D model retrieval problem. Specifically, in this paper, we first proposed to leverage 2D image to handle 3d model retrieval problem, which is one new problem in this field. The proposed feature learning method can benefit: 1) avoiding the interference of query image recorded by different visual sensor; 2) handling cross-modal data retrieval by simple computer vision technologies, which can guarantee the performance of retrieval and also control that the retrieval time hold a low level; 3) the low complexity of this method can guarantee that this method can be applied in many fields. Finally, we validate the retrieval method on three popular datasets. Extensive comparison experiments show the superiority of the proposed mehtod. To the best of our knowledge, it is the first method to handle 3D model retreival based on one single 2D image.     

一种基于拓扑连接图的三维模型检索方法

提出了一种基于分割技术的拓扑连接图构造方法。并用于三维模型检索．首先构造多层邻域计算用于度量每个三角片平坦度的信号值。根据这些信号值采用一种改进的分水岭方法把模型分割成不同的曲面片．然后利用这些曲面片之间的连接关系构造拓扑连接图．最后通过比较不同模型的拓扑连接图相似性来得到它们的匹配度。根据匹配度进行三维模型检索．     

3D head model retrieval in kernel feature space using HSOM

In this paper, we propose a novel 3D head model retrieval framework. Specifically, to facilitate better classification and retrieval, the original 3D head model representations are embedded into another kernel feature space in which kernel principal component analysis (kernel PCA) is then performed to search for the optimal basis representation. Based on the extracted nonlinear features, a hierarchical indexing structure for 3D model retrieval is constructed using the hierarchical self organizing map (HSOM). The proposed indexing structure clusters the database into a hierarchy so that head models are partitioned by coarse features initially and then by finer scale features at lower levels. The main motivation of adopting this approach is that subspace technique like kernel PCA provides an elegant mechanism to describe the 3D head models on multiple resolutions based on the choices for reconstruction error and the orthogonal property of the produced eigenvectors. To further enhance the performance, a fuzzy metric between the query and the feature vector associated with each node on the SOMs is adopted instead of the usual Euclidean metric. Only nodes that possess high fuzzy measure values will be considered further for retrieval. In this way, the fuzzy measure approach is able to pick up potential relevant models even though they may be distributed across a number of neighbouring nodes. In addition to model categorization, the topology-preserving property of HSOM also facilitates the exploration of the model database with the possibility for further knowledge discovery. The effectiveness of the proposed approach is verified by a set of simulation examples on a 3D head model database.