基于BTM图卷积网络的短文本分类方法

由于短文本长度较短,在分类时会面临数据稀疏和语义模糊等问题。提出新型图卷积网络BTM_GCN,该网络利用双项主题模型（Biterm Topic Model,BTM）在短文本数据集上训练出固定数量的文档级潜在主题,并作为一种节点嵌入到文本异构图中,再与异构图中的文档节点进行连接,最后利用图卷积网络来捕获文档、词与主题节点之间的高阶邻域信息,从而丰富文档节点的语义信息,缓解短文本语义模糊的问题。在三个英文短文本数据集上的实验结果表明,该方法相比基准模型具有较优的分类效果。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

异质信息网络高阶层次化嵌入学习与推荐预测

异质信息网络是一种异质数据表示形式,如何融合异质数据复杂语义信息,是推荐系统面临的挑战之一.利用弱关系具有的丰富语义和信息传递能力,构建一种面向推荐系统的异质信息网络高阶嵌入学习框架,主要包括:初始化信息嵌入、高阶信息嵌入聚合与推荐预测3个模块.初始化信息嵌入模块首先采用基于弱关系的异质信息网络最佳信任路径筛选算法,有效地避免在全关系异质信息网络中,采样固定数量邻居造成的信息损失,其次利用新定义的基于多头图注意力的多任务共享特征重要性度量因子,筛选出节点的语义信息,并结合交互结构,有效地表征网络节点;高阶信息嵌入聚合模块通过融入弱关系及网络嵌入对知识良好的表征能力,实现高阶信息表达,并利用异质信息网络的层级传播机制,将被采样节点的特征聚合到待预测节点;推荐预测模块利用高阶信息的影响力推荐方法,实现了推荐任务.该框架具有嵌入节点类型丰富、融合共享属性和隐式交互信息等特点.最后,实验验证UI-HEHo学习框架可有效地改善评级预测的准确性,以及推荐生成的针对性、新颖性和多样性,尤其是在数据稀疏的应用场景中,具有良好的推荐效果.     

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。     

异构图形数据的近似语义匹配技术研究

以流程工厂协同设计应用为背景,提出基于允许误差的最大语义图匹配（MSMGE）算法的异构图形数据近似语义匹配模型。利用类无向图来描述2D和3D异构图形数据的工程属性和拓扑关系,消除了图形信息的异构性,并建立各种类实体的属性标签词典来消除2D和3D属性信息的异构性,用语义表达式来表示类无向图顶点和边的语义关系,将异构图形匹配转化为近似语义图匹配。通过基于工程语义对类无向图进行语义分割和基于最大公共序列算法的语义表达式比较、语义规整和语义裁剪等方法,降低了匹配搜索空间,提高了近似语义图匹配效率,实现了近似语义图匹配判断。该研究已经在流程工厂设计软件中得到较好地应用。     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。     

结合属性结构的图卷积实体对齐算法

现有的基于图卷积的实体对齐算法大多基于实体之间的关系结构构建,没有有效利用实体的属性结构信息,为此提出一种结合实体属性结构信息的图卷积实体对齐方法.该方法在实体以属性连接起来的知识图上进行卷积,学习实体基于属性结构的嵌入,再结合实体基于关系结构的嵌入来比较实体的相似性.在真实数据集上的实验结果表明提出的方法优于基准方法,从而为实体对齐提供了一种新的可能.     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

融合属性信息的异质网络嵌入方法

现有的异质网络嵌入方法不仅忽略了网络中的异质边及其对节点嵌入的不同影响,还未考虑到网络结构与节点属性的融合。为此提出了一种融合属性信息的异质网络嵌入方法（SHANE）。将序列到序列（seq2seq）模型应用到依据边类型划分的子图中,无缝融合节点的结构信息和属性信息,同时捕捉节点的高阶语义信息。实验表明,SHANE在两个不同类型的数据集中进行链接预测任务,可以取得相对显著的效果。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于异构图分层学习的细粒度多文档摘要抽取

抽取的目标是在多个文档中提取共有关键信息,其对简洁性的要求高于单文档摘要抽取。现有的多文档摘要抽取方法通常在句子级别进行建模,容易引入较多的冗余信息。为了解决上述问题,提出一种基于异构图分层学习的多文档摘要抽取框架,通过层次化构建单词层级图和子句层级图来有效建模语义关系和结构关系。针对单词层级图和子句层级图这2个异构图的学习问题,设计具有不同层次更新机制的两层学习层来降低学习多种结构关系的难度。在单词层级图学习层,提出交替更新机制更新不同的粒度节点,以单词节点为载体通过图注意网络进行语义信息传递;在子句层级图学习层,提出两阶段分步学习更新机制聚合多种结构关系,第一阶段聚合同构关系,第二阶段基于注意力聚合异构关系。实验结果表明,与抽取式基准模型相比,该框架在Multinews数据集上取得了显著的性能提升,ROUGE-1、ROUGE-2和ROUGE-L分别提高0.88、0.23和2.27,消融实验结果也验证了两层学习层及其层次更新机制的有效性。     

基于异构图神经网络的半监督网站主题分类

互联网网站数量快速增长使现有方法难以准确分类特定网站主题,如基于URL的方法无法处理未反映在URL中的主题信息,基于网页内容的方法受到数据稀疏性和语义关系捕捉的限制。为此,提出一种基于异构图神经网络的半监督网站主题分类方法HGNN-SWT。该方法不仅利用网站文本特征来弥补仅使用URL特征的不足,还利用异构图对网站文本和词语的稀疏关系进行建模,通过处理图中的节点和边关系来提高分类性能。同时引入基于随机游走的邻居节点采样方法,考虑节点的局部特征和全局图结构,并提出特征融合策略,捕捉网站文本数据的上下文关系和特征交互。通过在自制的Chinaz Website数据集上的实验,证明了HGNN-SWT方法在网站主题分类任务中相较于现有方法具有更高的准确率。     

双向数据增强图卷积网络

为解决数据不足对深度学习模型带来的泛化性能较差的问题，研究非欧几里得图的数据增强，在改进半监督节点分类的节点嵌入方法的背景下，提出双向数据增强图卷积网络(TDA-GCN),设计子图增强法，对子图上每一个节点进行增加或删除其相邻的边，其中图熵变化最小的作为增强图，从增强图和原始图的拓扑结构和节点属性中提取嵌入，利用注意力机制自适应融合学习到的嵌入。实验结果表明，该方法优于目前流行的方法，取得了较好结果。     

基于用户潜在兴趣的知识感知传播推荐算法

知识图谱引入推荐系统可以利用知识图谱实体之间的语义关系学习用户及项目表示。基于嵌入传播的方法利用知识图谱的图结构学习相关特征,但随着传播范围增加,多跳实体间的语义相关性减小。为有效提升推荐语义表达能力并提高推荐准确度,提出基于用户潜在兴趣的知识感知传播推荐模型,该模型采用异构传播方式传播项目关联知识并迭代学习用户的潜在兴趣,以此增强模型对用户与项目的表示能力。具体地,首先图嵌入层生成用户与项目的初始化表示,随后在异构传播层中采用知识感知注意力机制区分同一层中实体之间的重要性,更精确生成目标实体的表示。随后通过用户潜在兴趣传播学习用户的高阶潜在兴趣,增强多跳实体语义相关性。最后在预测层中使用信息衰减因子区分不同传播层次的重要性,生成用户及项目的最终表示。实验表明,该模型在Last. FM与Book-Crossing两个公开数据集上AUC值相较于最先进的基线提升了2.25%与4.71%,F1值分别提升3.05%和1.20%,recall@K值均优于对比的基线模型,提出的模型能有效提高推荐准确度。     

旅游知识图谱特征学习的景点推荐

基于知识图谱的推荐算法在多个领域取得了较好的效果，但仍然存在一些问题，如不能有效提取知识图谱中实体关系标签中的特征，推荐准确率会降低。因而提出将网络嵌入方法（network embedding）用于旅游知识图谱的特征提取，使得特征的提取更加充分。通过对旅游知识图谱中不同标签的属性子图独立建模，利用深度学习模型挖掘游客及景点等图节点语义特征，进而获得融合各个标签语义的游客和景点特征向量，最终通过计算游客和景点相关性生成景点推荐列表。通过在真实旅游知识图谱上的实验，验证了利用网络嵌入方法对知识图谱中数据建模后，可以有效提取节点的深层特征。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%和92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%、92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

融合多特征的属性异质网络嵌入方法

网络嵌入旨在用低维、实值的向量表示非结构化网络中的节点,使节点嵌入尽可能地保留原始网络中的结构特征与属性特征。然而,当前研究主要集中于嵌入网络结构,对异质信息网络中具有丰富语义的关系属性和节点属性考虑得较少,可能导致节点嵌入语义缺失,从而影响下游应用的预测效果。针对该问题,设计了一种融合多特征的属性异质网络嵌入(Attributed Heterogeneous Network Embedding with Multiple Features, MFAHNE)方法。该方法通过序列采样、结构特征嵌入、属性特征嵌入、特征融合等步骤将网络中的关系属性、节点属性、结构语义等特征融合至最终节点嵌入。实验结果表明,该方法能兼顾结构特征与属性特征,实现两种特征信息的相互补充,优于传统的网络嵌入方法。     

融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中, 实体对齐是关键的步骤, 其目的在于确定不同图谱间等价的实体对. 现有实体对齐方法大多基于图嵌入方式, 通过考虑图谱的结构和属性信息进行对齐, 但并未很好处理二者之间的交互关系, 同时忽略对关系及多阶邻居信息的利用. 为解决上述问题, 提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model, FSAAM)的实体对齐方法. 该模型首先根据图谱数据特征划分为属性和结构通道数据, 其次使用属性注意力机制实现对属性信息的学习, 在实现对结构信息的学习中增加对关系信息的学习, 利用图注意力机制寻找对于实体对齐有益的邻居特征, 引入Transformer编码器更好的关联实体之间的信息, 并通过Highway网络减少可能学习到噪声信息的影响, 最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络, 得到集成相似度矩阵从而实现实体对齐. 所提模型在公开数据集DBP15K的3个子数据集上进行验证. 实验结果表明, 相较于基线模型中效果最好的结果, 其Hits@1分别提高了2.7%, 4.3%和1.7%, 且Hits@10和MRR也均有提升, 表明本模型能够有效提高实体对齐的准确性.