融合语料库特征与图注意力网络的短文本分类方法

短文本分类是自然语言处理（NLP）中的重要研究问题,广泛应用于新闻分类、情感分析、评论分析等领域。针对短文本分类中存在的数据稀疏性问题,通过引入语料库的节点和边权值特征,基于图注意力网络（GAT）,提出了一个融合节点和边权值特征的图注意力网络NE-GAT。首先,针对每个语料库构建异构图,利用引力模型（GM）评估单词节点的重要性,并通过节点间的点互信息（PMI）获得边权重;其次,为每个句子构建文本级别图,并将节点重要性和边权重融入节点更新过程。实验结果表明,所提模型在测试集上的平均准确率达到了75.48%,优于用于文本分类的图卷积网络（Text-GCN）、TL-GNN、Text-ING等模型;相较原始GAT,所提模型的平均准确率提升了2.32个百分点,验证了其有效性。     

改进DBNet与CRNN的面标识别方法

为解决板坯喷涂面标实时识别问题，构建文本检测和识别模型。改进可微二值化算法网络，引入高效通道注意力模块SENet,进行自适应空间特征融合(ASFF),增强特征金字塔预测多尺度目标的能力。识别模型改进卷积递归神经网络的VGG网络，将卷积与循环神经网络联合训练。实验结果表明，检测模型的精确率、召回率和调和平均值达到93.30%、86.45%、89.85%,提升显著；识别模型平均准确率达到86.01%,精度提升4.99%。模型满足实时与准确性要求。     

融合知识图谱和图注意力网络的引文推荐算法

针对传统协同过滤（CF）中的数据稀疏和冷启动问题，以及元路径、随机游走算法没有充分利用节点信息的问题，提出融合知识图谱和图注意力网络的引文推荐算法（C-KGAT）。首先，使用TransR算法将知识图谱信息映射为低维稠密向量，以获取节点的嵌入特征表示；其次，利用图注意力网络通过多通道融合机制聚合邻居节点信息以丰富目标节点的语义，并捕获节点间高阶连通性；接着，在不影响网络的深度或宽度的情况下，引入动态卷积层动态地聚合邻居节点信息以提升模型的表达能力；最后，通过预测层计算用户和引文的交互概率。在公开数据集AAN(ACL Anthology Network)和计算机科学文献库（DBLP）上的实验结果表明，所提算法的效果优于所有对比模型，所提算法的MRR(Mean Reciprocal Rank)相较于次优模型NNSelect分别提升了6.0和3.4个百分点，所提算法的精确率和召回率指标也有不同程度的提升，验证了算法的有效性。     

基于图注意力网络字词融合的中文命名实体识别

命名实体识别指识别文本中具有特定意义的实体,是自然语言处理诸多下游任务的重要基石。在命名实体识别任务中,协同图网络（CGN）模型通过引入多个图注意力网络获得较强的知识整合能力及较高的处理速度,但CGN模型在嵌入层中没有充分利用词边界信息,且采用的传统静态图注意力网络影响了图注意力的表达能力。在对CGN模型的图注意力网络进行改进的基础上,提出一种中文命名实体识别新模型,在嵌入层融入词语的分词信息,以生成包含词边界信息的字向量,从而充分利用词边界信息。通过在编码层使用BiLSTM模型获取文本的上下文信息,采用改进后的图注意力网络提取文本特征,并通过优化传统图注意力网络中相关系数的计算方式,增强模型的特征提取能力。最后,利用条件随机场对文本进行解码,从而实现对实体的标注。实验结果表明,该模型相比CGN模型在MSRA、OntoNotes4.0、Weibo数据集上的F1值分别提升了0.67%、3.16%、0.16%,验证了其在中文命名实体识别任务上的有效性。     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

基于图神经网络多模态融合的语音情感识别模型

目前,基于多模态融合的语音情感识别模型普遍存在无法充分利用多模态特征之间的共性和互补性、无法借助样本特征间的拓扑结构特性对样本特征进行有效地优化和聚合,以及模型复杂度过高的问题。为此,引入图神经网络,一方面在特征优化阶段,将经过图神经网络优化后的文本特征作为共享表示重构基于声学特征的邻接矩阵,使得在声学特征的拓扑结构特性中包含文本信息,达到多模态特征的融合效果;另一方面在标签预测阶段,借助图神经网络充分聚合当前节点的邻接节点所包含的相似性信息对当前节点特征进行全局优化,以提升情感识别准确率。同时为防止图神经网络训练过程中可能出现的过平滑问题,在图神经网络训练前先进行图增强处理。在公开数据集IEMOCAP 和RAVDESS上的实验结果表明,所提出的模型取得了比基线模型更高的识别准确率和更低的模型复杂度,并且模型各个组成部分均对模型性能提升有所贡献。     

改进DBNet的电商图像文字检测算法研究

电商图像背景较为复杂、文字区域形状多变，现有的文字检测模型无法精确检测文字位置这一问题。提出一种改进的文字检测模型——迭代自选择特征融合DBNet(iSFF-DBNet)。首先在主干网络提取特征后，在构建特征金字塔网络FPN的过程中引入注意力机制；然后提出了迭代自选择特征融合模块iSFF来提升模型的特征提取能力；最后引入双边上采样模块提升可微分二值化模块的自适应性能。实验结果表明，在ICPR MTWI 2018网络图像数据集文本检测任务中，对比标准的DBNet模型，所提改进模型的召回率和F-score分别提升了6.0%和2.4%。与其他文字检测模型相比，该模型在精确率和召回率上取得了平衡，能够更准确地检测文字。     

融合BERT和图注意力网络的多标签文本分类

多标签文本分类问题是多标签分类的重要分支之一,现有的方法往往忽视了标签之间的关系,难以有效利用标签之间存在着的相关性,从而影响分类效果.基于此,本文提出一种融合BERT和图注意力网络的模型HBGA(hybrid BERT and graph attention):首先,利用BERT获得输入文本的上下文向量表示,然后用Bi-LSTM和胶囊网络分别提取文本全局特征和局部特征,通过特征融合方法构建文本特征向量,同时,通过图来建模标签之间的相关性,用图中的节点表示标签的词嵌入,通过图注意力网络将这些标签向量映射到一组相互依赖的分类器中,最后,将分类器应用到特征提取模块获得的文本特征进行端到端的训练,综合分类器和特征信息得到最终的预测结果.在Reuters-21578和AAPD两个数据集上面进行了对比实验,实验结果表明,本文模型在多标签文本分类任务上得到了有效的提升.     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取；二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题，提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵，然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础，同时利用最大池化提取句子特定的目标向量，使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示，并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示，然后将其与文本的特征信息进行交互、融合，以减少原有特征损失，得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明，该模型的分类准确率明显优于其它主流基线模型的。     

基于注意力特征融合的无人机多目标跟踪算法

随着无人机技术的不断发展,无人机多目标跟踪已成为无人机应用的关键技术之一.针对无人机视频中的复杂背景干扰、遮挡、视点高度和角度多变等问题,提出一种基于注意力特征融合的无人机多目标跟踪算法.首先,将改进的卷积注意力模块引入残差网络,建立三元组注意力特征提取网络;其次,在特征金字塔网络的结构上加入新的特征融合通道,设计多尺度特征融合模块,增强模型对多尺度目标的特征表达能力;最后,根据目标的重识别特征匹配与检测框匹配得到目标轨迹.仿真实验结果表明,该算法可有效提升无人机多目标跟踪的精度,具有较好的鲁棒性.     

融合注意力机制的 YOLOv5 口罩检测算法

新冠疫情期间正确佩戴口罩可以有效防止病毒的传播,针对公共场所存在的人员密集、检测目 标较小等加大检测难度的问题,提出一种以 YOLOv5s 模型为基础并引入注意力机制融合多尺度注意力权重的 口罩佩戴检测算法。在 YOLOv5s 模型的骨干网络中分别引入 4 种注意力机制,抑制无关信息,增强特征图的 信息表达能力,提高模型对小尺度目标的检测能力。实验结果表明,引入 CBAM 模块后较原网络 mAP 值提升 了 6.9 个百分点,在 4 种注意力机制中提升幅度最明显,而引入 NAM 模块后在损失少量 mAP 的情况下使参 数量最少,最后通过对比实验选用 GIoU 损失函数计算边界框回归损失,进一步提升定位精度,最终结果较 原网络 mAP 值提升了 8.5 个百分点。改进模型在不同场景下的检测结果证明了该算法对小目标检测的准确 率和实用性。     

基于GNN双源学习的访问控制关系预测方法

随着大数据技术的迅速发展和广泛应用,用户越权访问成为制约大数据资源安全共享、受控访问的主要问题之一。基于关系的访问控制（ReBAC,relation-based access control）模型利用实体之间关系制定访问控制规则,增强了策略的逻辑表达能力,实现了动态访问控制,但仍然面临着实体关系数据缺失、规则的关系路径复杂等问题。为克服这些问题,提出了一种基于GNN双源学习的边预测模型——LPMDLG,将大数据实体关系预测问题转化为有向多重图的边预测问题。提出了基于有向包围子图的拓扑结构学习方法和有向双半径节点标记算法,通过有向包围子图提取、子图节点标记计算和拓扑结构特征学习3个环节,从实体关系图中学习节点与子图的拓扑结构特征;提出了基于有向邻居子图的节点嵌入特征学习方法,融入了注意力系数、关系类型等要素,通过有向邻居子图提取、节点嵌入特征学习等环节,学习其节点嵌入特征;设计了双源融合的评分网络,将拓扑结构与节点嵌入联合计算边的得分,从而获得实体关系图的边预测结果。边预测实验结果表明,相较于R-GCN、SEAL、GraIL、TACT等基线模型,所提模型在AUC-PR、MRR和Hits@...     

子图匹配和强化学习增强的三维点云配准

针对低质量三维点云数据配准精度不足、效率低的问题,为了实现低质量点云的精确、快速配准,提出一种基于子图匹配和强化学习的点云配准方法.首先将三维点云配准转化为一系列离散的刚性变换连续作用结果,利用强化学习策略训练一个端到端的模型以迭代输出刚性变换动作;然后对于模型架构,采用双流主干网络分别提取源点云与目标点云的局部特征信息,设计交叉图注意力模块将源点云图和目标点云图中的相似节点关联起来,使用带选通向量的加权实现图节点的聚合,分别获取源点云图与目标点云图的全局特征表示;最后融合源点云图与目标点云图的全局特征,基于融合特征预测离散的刚性变换动作.强化学习策略的引入显著提高了点云配准算法的泛化性,在加入交叉图注意力模块后,点云配准的精度及效率也进一步被提升.在ModelNet40和ScanObjectNN这2个公共基准数据集上与最新的点云配准方法 ReAgent进行实验的结果表明,所提方法能够将旋转误差的均方差数值降低至少0.16,各向同性旋转误差数值也降低至少0.16,有效地提升低质量点云配准的精度.     

基于GAT双聚合运算与归纳式矩阵补全的关联预测

可计算模型能够有效替代生物实验进行长链非编码RNA（lncRNA）-疾病的关联预测,但由于存在已知数据稀疏性问题,导致现有模型的预测精度不高。针对这一局限性,提出基于图注意力网络与归纳式矩阵补全技术的双融合机制lncRNA-疾病关联预测模型（DFMP-LDA）。引入n头注意力机制,设计带有双重聚合器的图注意力网络,增强lncRNA节点与疾病节点的特征,避免数据稀疏性导致模型预测精度不高的问题。在此基础上,针对传统图注意力网络不能直接应用于潜在lncRNA-疾病对关联预测的问题,引入归纳式矩阵补全技术,应用增强后的节点特征重建lncRNA-疾病关联网络,进一步提高模型的预测精度。5折交叉验证结果表明,DFMP-LDA预测lncRNA-疾病关联的AUC值为0.932 2,AUPR值为0.770 5,在时间成本上分别较DMF-LDA、SDLDA、TPGLDA模型节省33.89%、32.17%、16.12%,预测性能较优。     

基于自注意力网络的深度图匹配模型

现有深度图匹配模型在节点特征提取阶段常利用图卷积网络（GCN）学习节点的特征表示。然而，GCN对节点特征的学习能力有限，影响了节点特征的可区分性，造成节点的相似性度量不佳，最终导致模型的匹配精度受损。为解决这一问题，提出一种基于自注意力网络的深度图匹配模型。所提模型在节点特征提取阶段使用新的自注意力网络来学习节点特征，其原理是通过空间编码器和自注意力机制分别学习节点的空间结构以及所有节点之间的联系，从而改善节点的特征描述。此外，为了减小放松图匹配问题所带来的精度损失，将图匹配问题建模为整数线性规划问题，在图匹配问题的节点匹配基础上增加结构匹配约束，以及引入高效的组合优化求解器来计算图匹配问题的局部最优解。实验结果表明，在PASCALVOC数据集上，与PCA-GM相比，所提模型在20类图像上的匹配精度平均值提高了14.8个百分点；在Willow Object数据集上，所提模型在5类图像上的匹配精度平均值提高了7.3个百分点，并且在自行车、植物等目标匹配任务上达到了最佳的效果。     

基于改进残差网络的交通标志识别算法

针对模型在下采样过程中不断损失图像的高层次信息,从而导致特征提取不足的问题,本文对ResNet网络结构进行改进,提出基于多尺度特征与注意力机制的交通标志识别方法。首先,通过特征融合的方式将模型各个层次的多尺度特征进行融合,丰富特征语义信息,增强网络的特征提取能力。然后,通过注意力机制强化不同通道特征,提升特征整体的表达能力。结合这2种方法可提升模型的交通标志识别准确率。在GTSRB和BelgiumTS交通标志数据集上的实验结果表明,所提出方法的准确率分别达到99.31%和98.96%,优于前沿的交通标志识别算法。     

基于AFP的有向加权注意力流网络链路预测

个性化推荐系统在减轻信息超载、提供个性化服务和辅助用户决策等方面应用广泛,链路预测是个性化推荐的重要方法之一。传统启发式链路预测方法仅考虑网络的图结构特征,缺乏对显式特征和隐式特征信息的应用,且大多数方法基于无向无权网络。针对传统链路预测方法存在的不足,基于集体注意力流网络和R-GCN方法,提出了链路预测算法AFP,将注意力流网络中2节点间不同的边方向抽象为2种边关系类型,并引入注意力机制学习网络中的节点属性和边属性,还综合考虑了网络的图结构特征、显式特征和隐式特征,最后通过评分函数得到三元组成立与否的概率,将链路预测问题转化为一个二分类问题,预测节点间的边属于某个关系类型的可能性。实验结果表明,相比于GCN、GAT等6个基准算法,该算法在准确度、精度和召回率等多个评价指标上均有提升。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

面向自然街景改进的文本检测

近年来,随着深度学习的发展,在自然街景下的文本检测取得了巨大的进步,但在多方向和弯曲文本及对比度低的文本检测中的效果仍不理想。因此,针对弯曲文本和对比度低的文本的检测问题,提出了一种融合多尺度模块的文本检测方法,并通过检测效果的提升,提高端到端文本识别的识别效果。针对RFB(Receptive Field Block)模块在下采样后局部信息丢失的问题,在RFB模块中嵌入极化自注意力(Polarized Self-Attention)机制以改进RFB来提取有效文本特征,提高特征图表征效果。针对特征金字塔(FPN)提取的特征不足、感受野小的问题,将改进的RFB模块嵌入特征金字塔(FPN)模块以增强特征提取融合。针对特征分布不确定性及远距离特征融合效果不佳的问题,引入条形池化(Strip Pooling)模块,进而提升检测方法的鲁棒性。在公开数据集Total-Text上的实验结果表明,该算法的F-measure值在端到端文本识别没有词汇表的情形下与目前高效的MaskTextSpotterV3相比高了0.3百分点,而在有词汇表的情形下则高出了0.2百分点;而在仅文本检测的情形下,该方法也有较为...     

表格结构识别网络FcaTGRNet

如今重要的数据大都通过表格直接展示，在分析数据时，除数据和文字信息外，表格结构信息也很重要，要想更加准确、便捷地分析表格数据，能否自动准确地识别表格结构至关重要。现在有很多识别表格结构的方法，对表格单元格检测的准确率也都比较理想，但是很少有方法在特征提取方面做出改进。为了证明图像特征提取在表格结构识别过程中的重要性，针对这一问题在TGRNet的基础上引入了多频谱注意力机制，以便更好地提取图像多个频谱上的特征，使得到的特征更加全面。在公开数据集上的实验结果显示，所做改进较原方法在表格结构识别的单元格空间位置和逻辑位置检测的准确率有所提升。