基于多模态融合的三维模型检索算法研究

为了获得更好的三维模型检索分类性能,基于深度学习模型研究了多模态信息融合对三维模型的特征描述,在训练步骤提出相关性损失函数来指导不同模态之间的训练,提取更稳健的特征向量;最后将融合特征应用于三维模型的检索和分类,在ModelNet40数据集上进行了三维模型分类任务和检索任务评估。实验结果及与现有方法进行的对比证明了该方法的优越性,为三维模型检索分类领域提供了一种新的思路。     

基于多模态关系建模的三维形状识别方法

为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module, MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.     

基于多模态特征融合的三维点云分类方法

针对点云数据本身信息量不足导致现有三维点云分类方法分类精度较低的问题,结合多模态特征融合,设计一种三维点云分类模型。通过引入投影图对点云数据信息进行扩充,将点云数据与图像数据同时作为输入,对PointCNN模型提取的点云特征与CNN模型提取的投影图特征进行加权融合,从而得到最终分类结果。在ModelNet40数据集上的分类结果表明,该模型的分类精度达到96.4%,相比PointCNN模型提升4.7个百分点。     

基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

基于卷积神经网络和投票机制的三维模型分类与检索

针对现有基于深度学习的三维模型多视图分类算法利用最大池化、平均池化等像素级运算完成视图信息的融合,可能造成模型有益信息淹没和混淆的问题,提出一种基于卷积神经网络和投票机制的三维模型分类检索算法.首先将三维模型转化为一组二维视图,然后基于丰富的数字图像库ImageNet和成熟的图像深度学习模型CaffeNet完成二维视图的分类,最后利用加权投票的方式完成三维模型的分类;同时基于投票机制,提出4种三维模型距离度量算法,支持三维模型的检索.将文中算法应用于刚性三维模型库ModelNet10,ModelNet40,非刚性三维模型库SHREC10, SHREC11和SHREC15中,分类准确率分别为93.18%, 93.07%, 99.5%, 99.5%和99.4%,检索性能突出;并通过实验验证该算法的有效性.     

三维模型普适性特征提取与分类

为了解决单一算法特征描述子难以兼顾表达刚性和非刚性三维模型的问题,提出一种三维模型普适性特征提取方法.首先提出一种基于三维点云模型的局部面积加权密集化采样算法;然后针对非刚性铰链结构的变换影响,利用热核特征的等距等容不变性提出时间尺度序列热核编码方法;最后提出边缘投影图卷积神经网络,对编码点云的空间形状及时间尺度序列热核进行特征融合学习,并应用于三维模型分类任务.在刚性三维模型数据集ModelNet40和非刚性三维模型数据集SHREC15上的实验结果表明,与单一刚性或非刚性三维模型特征提取方法相比,所提方法能够提取具有普适性且具有显著辨别力的特征描述符,分类准确率分别达到92.63%和97.71%.     

融合BERT和图注意力网络的多标签文本分类

多标签文本分类问题是多标签分类的重要分支之一,现有的方法往往忽视了标签之间的关系,难以有效利用标签之间存在着的相关性,从而影响分类效果.基于此,本文提出一种融合BERT和图注意力网络的模型HBGA(hybrid BERT and graph attention):首先,利用BERT获得输入文本的上下文向量表示,然后用Bi-LSTM和胶囊网络分别提取文本全局特征和局部特征,通过特征融合方法构建文本特征向量,同时,通过图来建模标签之间的相关性,用图中的节点表示标签的词嵌入,通过图注意力网络将这些标签向量映射到一组相互依赖的分类器中,最后,将分类器应用到特征提取模块获得的文本特征进行端到端的训练,综合分类器和特征信息得到最终的预测结果.在Reuters-21578和AAPD两个数据集上面进行了对比实验,实验结果表明,本文模型在多标签文本分类任务上得到了有效的提升.     

基于语义融合和多重相似性学习的跨模态检索

针对现有跨模态检索方法不能充分挖掘模态之间的相似性信息的问题,提出一种基于语义融合和多重相似性学习（CFMSL）方法。首先,在特征提取过程中融合不同模态的语义信息,加强不同模态特征间的交互,使得模型能够充分挖掘模态间的关联信息。然后,利用生成器将单模态特征和融合模态特征映射到公共子空间中,通过最大化锚点与正例样本之间的相似性和最小化锚点与负例样本间的相似性得到具有判别性的特征进行模态对齐。最后,基于决策融合方式对相似性列表进行重排序,使得最终排序结果同时考虑单模态特征和融合模态特征,提高检索性能。通过在Pascal Sentences、Wikipedia、NUS-WIDE-10K这3个广泛使用的图文数据集上进行实验,实验结果表明CFMSL模型能够有效提高跨模态检索任务的性能。     

时空信息联合嵌入的端到端三维模型草图检索

现有的基于草图的三维模型检索工作往往将数据视为静态输入,并使用卷积神经网络进行特征提取,忽略了数据的动态属性,造成了有益信息的部分丢失,进而影响了以此为基础的检索效果.为解决这一问题,提出一种基于时空信息联合嵌入的端到端三维模型草图检索算法.首先,将草图表征为动态绘制序列,体现其绘制过程中所包含的时序信息;将三维模型表征为多视图序列,体现视图间的位置关联;然后,构建包含静态空间特征提取和动态时序特征提取的端到端双流网络,结合三元中心度量学习建立跨域数据的联合时空特征嵌入,充分捕捉草图和三维模型所包含的静态、动态特征,缩小跨域数据的差异性,提高检索的准确率;最后,在标准公开数据集SHREC2013和SHREC2014上进行实验,与现有工作相比获得了较高的准确率,验证了所提算法的可行性及有效性.     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

车祸再现中三维车辆模型准确检索方法研究

研究交通事故再现中根据三维模型的车辆检索问题。为解决事故责任的确定,需要根据视频记录通过车辆三维模型的检索结果再现交通事故过程。交通事故发生过程中,车辆因事故碰撞发生车体旋转,使得车辆三维特征不明显,传统的基于骨架特征的三维车辆检索方法由于车体的旋转,不能有效获取车辆特征,造成车辆三维模型检索的准确率不高。为解决此难题,提出基于同心球特征提取的三维车辆模型检索方法,选取车辆的质心作为模型球心,依据最大半径均分原则得到多个同心球,选取与球心最远的凸点为特征点,这样选取的特征点与空间坐标位置无关,避免了车体旋转对特征点的影响,通过匹配完成检索。实验表明,同心球特征提取方法能够提高三维车辆模型的检索准确性。     

联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分：特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

门控多特征提取器的中文命名实体识别

在不引入其他辅助特征的情况下,仅关注文本自身,通过构建多个特征提取器深度挖掘文本序列抽象、深层、高维的特征.采用BERT预训练模型获取信息更丰富的词嵌入;将词嵌入分别输入到BiLSTM和IDCNN中进行第一轮的特征提取,为获取更高维的特征,实现信息的多通道传输和流量控制,在IDCNN网络中引入门控机制;为提高特征提取效...     

基于词性特征的CNN_BiGRU文本分类模型

传统词嵌入通常将词项的不同上下文编码至同一参数空间,造成词向量未能有效辨别多义词的语义;CNN网络极易关注文本局部特征而忽略文本时序语义,BiGRU网络善于学习文本时序整体语义,造成关键局部特征提取不足.针对上述问题,提出一种基于词性特征的CNN_BiGRU文本分类模型.引入词性特征构建具有词性属性的词性向量;将词性向量与词向量交叉组合形成增强词向量,以改善文本表示;采用CNN网络获取增强词向量的局部表示,利用BiGRU网络捕获增强词向量的全局上下文表示;融合两模型学习的表示形成深度语义特征;将该深度语义特征连接至Softmax分类器完成分类预测.实验结果表明,该模型提高了分类准确率,具有良好的文本语义建模和识别能力.     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

基于注意力机制的人脸虹膜双特征融合识别

针对单一生物识别方法存在的固有局限性，利用人脸和虹膜双生物模态信息，提出一种基于注意力机制和低秩多模态融合的身份识别模型(attention mechanism and low-rank multimodal fusion, ALMF)。在模型的人脸和虹膜特征提取网络中均嵌入改进的混合注意力机制(I＿CBAM),增强有用特征的提取。利用模态特定低秩因子完成低秩多模态特征级融合(low-rank multimodal fusion, LMF),解决传统特征拼接方式无法充分实现各模态特征的互补、容易造成冗余信息和维度灾难等问题。使用简单高效的余弦距离完成特征模板的比对实现身份识别。实验结果表明，ALMF模型相比单一生物特征识别和传统融合识别算法具有更强的鲁棒性和准确率。     

基于SA-PointNetVLAD的点云分类网络

三维点云数据包含着丰富的形状和比例信息,如何有效准确地对点云数据进行分类已经成为了目前计算机视觉领域的研究热点。由于点云在非欧氏空间中的不规则稀疏结构,并且现有的基于深度学习的三维点云分类模型中缺乏对各个点的局部信息和全局信息的有效利用,从而导致较低的分类精度。为了解决上述问题,提出了一种基于SA-PointNetVLAD的点云分类模型框架。该网络采用逐点特征提取和汇集操作来解决无序的点云问题,通过自注意力机制来计算每个点与其他所有点之间的关联,充分挖掘点云的局部区域细粒度特征以及全局信息,采用KNN邻近算法感知点云的局部形状结构,通过VLAD层将每个点的低层几何描述符与视觉单词相关联来间接描述高层特征信息。此外,该网络还引入一个有效的关键点描述符帮助识别整体几何图形。经过实验得出SA-PointNetVLAD模型在公开的ModelNet40数据集上仅使用512个点就可以达到90.9%的精度,显著高于相同条件下的其他方法。     

一种新的基于特殊离群样本优化的三维点云特征选择算法

随着元宇宙、数字孪生、虚拟现实与增强现实等前沿技术的快速发展,三维点云在电力、建筑、先进制造等行业中得到广泛应用,随之而来的,如何降低三维点云数据冗余度、有效进行点云特征选择,已在充分利用海量点云数据中扮演着关键角色。考虑到现有大多数三维点云特征选择算法忽略了特定样本在特征评估中的表现,提出一种新的有监督特征选择算法,即基于特殊离群样本优化的特征选择算法(FSSO)。具体地,为获得精准的特殊离群样本(SOs),FSSO优化均值中心并动态地界定类簇主体;计算SOs的类内相对偏离程度,通过减小类内相对偏离对特征进行打分,实现特征选择过程。在3个公共的三维点云模型分类数据集上(ModelNet40,IntrA,ShapeNetCore)的实验,以及4个高维人工特征数据集的验证实验结果表明,相较于其他特征选择算法,FSSO可选择出具有更强分类能力的特征子集,并提升分类准确率。