集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息，导致不能有效地学习点云的局部特征。为解决这一问题，提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点，对每个节点求其K近邻，建立局部K近邻邻域内两两节点之间的边，并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征；使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块，并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息，并且叠加两个方向编码模块增大网络的感受野，提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明，相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点，平均分类精度提高了4.3个百分点；在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度...     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。     

层级语义融合的场景文本检测

目的 场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此问题,提出了一种层级语义融合的场景文本检测算法。方法 该方法包括基于文本片段的局部语义理解模块和基于文本实例的全局语义理解模块,以分别引导网络关注文字局部和文字实例间的多层级语义信息。首先,基于文本片段的局部语义理解模块根据相对位置将文本划分为多个片段,在细粒度优化目标的监督下增强网络对局部语义的感知能力。然后,基于文本实例的全局语义理解模块利用文本片段粗分割结果过滤背景区域并提取可靠的文字区域特征,进而通过注意力机制自适应地捕获任意形状文本的全局语义信息并得到最终分割结果。此外,为了降低边界区域的预测噪声对层级语义信息聚合的干扰,提出边界感知损失函数以降低边界区域特征的歧义性。结果 算法在3个常用的场景文字检测数据集上实验并与其他算法进行了比较,所提方法在性能上获得了显著提升,在Totoal-Text数据集上,F值为87.0%,相比其他模型提升了1.0%;在MSRA-TD500（MSRA text detection 500 database）数据集上,F值为88.2%,相比其他模型提升了1.0%;在ICDAR 2015（International Conference on Document Analysis and Recognition）数据集上,F值为87.0%。结论 提出的模型通过分别构建不同层级下的语义上下文和对歧义特征额外的惩罚解决了层级语义提取不充分的问题,获得了更高的检测精度。     

基于池化和特征组合增强BERT的答案选择模型

当前主流模型无法充分地表示问答对的语义,未充分考虑问答对主题信息间的联系并且激活函数存在软饱和的问题,而这些会影响模型的整体性能。针对这些问题,提出了一种基于池化和特征组合增强BERT的答案选择模型。首先,在预训练模型BERT的基础上增加对抗样本并引入池化操作来表示问答对的语义;其次,引入主题信息特征组合来加强问答对主题信息间的联系;最后,改进隐藏层的激活函数,并用拼接向量通过隐藏层和分类器完成答案选择任务。在SemEval-2016CQA和SemEval-2017CQA数据集上进行的验证结果表明,所提模型与tBERT模型相比,准确率分别提高了3.1个百分点和2.2个百分点;F1值分别提高了2.0个百分点和3.1个百分点。可见,所提模型在答案选择任务上的综合效果得到了有效提升,准确率和F1值均优于对比模型。     

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理（NLP）的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型（PLM）对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络（GCN）,提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络（AE-GCN）模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络（EMC-GCN）模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC...     

基于虚拟属性学习的文本-图像行人检索方法

文本-图像行人检索旨在从行人数据库中查找符合特定文本描述的行人图像.近年来受到学术界和工业界的广泛关注.该任务同时面临两个挑战:细粒度检索以及图像与文本之间的异构鸿沟.部分方法提出使用有监督属性学习提取属性相关特征,在细粒度上关联图像和文本.然而属性标签难以获取,导致这类方法在实践中表现不佳.如何在没有属性标注的情况下提取属性相关特征,建立细粒度的跨模态语义关联成为亟待解决的关键问题.为解决这个问题,融合预训练技术提出基于虚拟属性学习的文本-图像行人检索方法,通过无监督属性学习建立细粒度的跨模态语义关联.第一,基于行人属性的不变性和跨模态语义一致性提出语义引导的属性解耦方法,所提方法利用行人的身份标签作为监督信号引导模型解耦属性相关特征.第二,基于属性之间的关联构建语义图提出基于语义推理的特征学习模块,所提模块通过图模型在属性之间交换信息增强特征的跨模态识别能力.在公开的文本-图像行人检索数据集CUHK-PEDES和跨模态检索数据集Flickr30k上与现有方法进行实验对比,实验结果表明了所提方法的有效性.     

融合网络结构信息及文本内容的标签推荐方法

为文本推荐合适的标签是更好地组织和使用文本内容的一项有效手段,目前大部分标签推荐方法主要通过挖掘文本内容来进行推荐。然而,大部分数据信息并非独立存在,如语料库中的文本间的词共现关系可形成复杂的网络结构。以往研究表明,文本间的网络结构信息和文本内容信息可以分别从两个不同的角度对同一文本的语义进行概括,并且从两方面提取的信息可以互为补充和解释。基于此,提出一种同时对文本网络结构信息和文本内容信息进行建模的标签推荐方法。该方法首先使用图卷积神经网络（GCN）提取文本间网络的结构信息,然后使用循环神经网络（RNN）提取文本内容信息,最后使用注意力机制结合文本间网络结构信息和文本内容信息进行标签的推荐。与基于图卷积神经网络（GCN）的标签推荐方法、基于主题注意力的长短时记忆（TLSTM）神经网络的标签推荐方法等基线方法相比,提出的使用注意力机制结合网络结构信息与文本内容信息的标签推荐方法具有更好的性能。如在Mathematics Stack Exchange数据集上所提方法的准确率、召回率和F1值相较最优基线方法分别提高了2.3%、3.8%、7.0%。     

基于图卷积神经网络的虚假新闻检测

当前检测虚假新闻的方法往往依赖于人工设计的特征，并且需要提供大量如用户信息、传播路径等不宜获取的隐私信息，使得模型泛化性较差。针对上述问题，提出一种基于图卷积网络（GCN）和预训练ALBERT(A-LiteBidirectional Encoder Representations from Transformers)构建的新闻检测模型GCN-ALBERT。首先，利用GCN捕获文本全局信息，提取新闻文本的全局语义信息；其次，利用自注意力机制融合ALBERT生成的局部信息与全局信息；最后，建立包含局部信息和全局信息的分类表示，从而实现虚假新闻检测。实验结果表明，所提模型在两个真实的英文数据集上与预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)相比，宏F1值分别提高了3.0%和4.2%。所提模型能够有效融合新闻文本的全局信息和局部信息，准确率更高。     

融合局部语义特征的学者细粒度信息提取方法

从学者主页中提取的学者细粒度信息（如学者研究方向、教育经历等）在大规模专业人才库的创建等方面具有非常重要的应用价值。针对现有学者细粒度信息提取方法无法有效利用上下文语义联系的问题，提出一种融合局部语义特征的学者信息提取方法，利用局部范围文本的语义联系对学者主页进行细粒度信息抽取。首先，通过全词掩码中文预训练模型RoBERTa-wwm-ext学习通用语义表征；之后将通用语义表征中的目标句表征向量与局部相邻文本表征向量共同输入卷积神经网络（CNN）实现局部语义融合，从而获得更高维度的目标句表征向量；最终将目标句表征向量从高维度空间映射到低维度标签空间实现学者主页细粒度信息的抽取。实验结果表明，使用此融合局部语义特征的方法进行学者细粒度信息提取的宏平均F1值达到93.43%，与未融合局部语义的RoBERTa-wwm-extTextCNN方法相比提高了8.60个百分点，验证了所提方法在学者细粒度信息提取任务上的有效性。     

基于One-Shot聚合自编码器的图表示学习

自编码器（AE）是一种高效的图数据表示学习模型,但大多数图自编码器（GAE）为浅层模型,其效率会随着隐藏层的增加而降低。针对上述问题,提出基于One-Shot聚合（OSA）和指数线性（ELU）函数的GAE模型OSA-GAE和图变分自编码器模型OSA-VGAE。首先,利用多层图卷积网络（GCN）构建编码器,并引入OSA和ELU函数;然后,在解码阶段使用内积解码器恢复图的拓扑结构;此外,为了防止模型训练过程中的参数过拟合,在损失函数中引入正则化项。实验结果表明,OSA和ELU函数可以有效提高深层GAE的性能,改善模型的梯度信息传递。在使用6层GCN时,基准引文数据集PubMed的链接预测任务中,深层OSA-VGAE相较于原始的VGAE在ROC曲线下的面积（AUC）和平均精度（AP）上分别提升了8.67和6.85个百分点,深层OSA-GAE相较于原始的GAE在AP和AUC上分别提升了6.82和4.39个百分点。     

融合句法信息的无触发词事件检测方法

事件检测（ED）是信息抽取领域中最重要的任务之一,旨在识别文本中特定事件类型的实例。现有的ED方法通常采用邻接矩阵来表示句法依存关系,然而邻接矩阵往往需要借助图卷积网络（GCN）进行编码来获取句法信息,由此增加了模型的复杂度。为此,提出了融合句法信息的无触发词事件检测方法。通过将依赖父词及其上下文转换为位置标记向量,并在模型源端以无参数的方式融入依赖子词的单词嵌入来加强上下文的语义表征,而不需要经过GCN进行编码;此外,针对触发词的标注费时费力的问题,设计了基于多头注意力机制的类型感知器,以对句子中潜在的触发词进行建模,实现无触发词的事件检测。为了验证所提方法的性能,在ACE2005数据集以及低资源越南语数据集上进行了实验。其中,在ACE2005数据集上与图变换网络事件检测（GTN-ED）方法相比,所提方法的F1值提升了3.7%;在越南语数据集上,与二分类的方法类型感知偏差注意机制神经网络（TBNNAM）相比,所提方法的F1值提升了9%。结果表明,通过在Transformer中融入句法信息能有效地连接句子中分散的事件信息来提高事件检测的准确性。     

基于多分支神经网络模型的弱监督细粒度图像分类方法

针对传统基于注意力机制的神经网络不能联合关注局部特征和旋转不变特征的问题,提出一种基于多分支神经网络模型的弱监督细粒度图像分类方法。首先,用轻量级类激活图(CAM)网络定位有潜在语义信息的局部区域,设计可变形卷积的残差网络ResNet-50和旋转不变编码的方向响应网络(ORN);其次,利用预训练模型分别初始化特征网络,并输入原图和以上局部区域分别对模型进行微调;最后,组合三个分支内损失和分支间损失优化整个网络,对测试集进行分类预测。所提方法在CUB-200-2011和FGVC_Aircraft数据集上的分类准确率分别达到87.7%和90.8%,与多注意力卷积神经网络(MA-CNN)方法相比,分别提高了1.2个百分点和0.9个百分点;在Aircraft_2数据集上的分类准确率达到91.8%,比ResNet-50网络提高了4.1个百分点。实验结果表明,所提方法有效提高了弱监督细粒度图像分类的准确率。     

融合全局结构信息的拓扑优化图卷积网络

基于拓扑优化的图卷积网络(TOGCN)是一类图卷积神经网络(GCNN)模型,它通过网络中的辅助信息优化网络拓扑结构,有利于反映节点间的联系程度;然而TOGCN模型仅注重局部节点之间的关联关系,对网络潜在的全局结构信息关注不足.融合全局特征信息,有助于提高模型的性能和处理信息缺失时的鲁棒性.提出了融合全局结构信息的拓扑优...     

联合立场的过程跟踪式多任务谣言验证模型

当前,社交媒体平台成为人们发布和获取信息的主要途径,但简便的信息发布也导致了谣言更容易迅速传播,因此验证信息是否为谣言并阻止谣言传播,已经成为一个亟待解决的问题。以往的研究表明,人们对信息的立场可以协助判断信息是否为谣言。在此基础上,针对谣言泛滥的问题,提出了一个联合立场的过程跟踪式多任务谣言验证模型（JSP?MRVM）。首先,分别使用拓扑图、特征图和公共图卷积网络（GCN）对信息的三种传播过程进行表征;然后,利用注意机制获取信息的立场特征,并融合立场特征与推文特征;最后,设计多任务目标函数使立场分类任务更好地协助验证谣言。实验结果表明,所提模型在RumorEval数据集上的准确度和Macro?F1较基线模型RV?ML分别提升了10.7个百分点和11.2个百分点,可以更有效地检验谣言,减少谣言的泛滥。     

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络（HRNet）和图卷积网络（GCN）的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型（SMPL）的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。     

融合BERT与标签语义注意力的文本多标签分类方法

多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一.针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT.首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利...     

多特征混合模型文本情感分析方法

近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络（TextCNN）最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型（BiLSTM-MFCNN）的文本情感分析方法。该方法使用双向长短记忆网络（BiLSTM）学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络（MFCNN）,卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCC Emotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。