基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注.现有图神经网络方法主要建模静态同质图数据，然而现实世界复杂系统往往包含多类型动态演化的实体及关系，此类复杂系统更适合建模为动态异质图.目前，动态异质图表示学习方法主要集中于半监督学习范式，其存在监督信息昂贵和泛化性较差等问题.针对以上问题，提出了一种基于对比学习的全局增强动态异质图神经网络.具体地，所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示，然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息.实验结果表明，提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.     

基于对比学习的多关系属性图聚类方法

现实世界包含复杂的图数据，其节点之间通常包含多种关系，这种图被称为多关系属性图。图聚类是挖掘图数据相似信息的技术之一，然而现有的图聚类的方法大多只适用于单关系图。即使有的方法考虑到了多关系图，也往往是将图表示学习与聚类看作两个单独的过程。受Deep Graph Infomax(DGI)算法的启发，文中设计了一种基于对比学习的多关系属性图的聚类方法(CCLMAG),用于解决上述问题：1)通过引入社区级互信息机制，弥补了DGI算法无法融合簇信息的缺点；2)引入嵌入融合模块来聚合不同关系上的节点嵌入；3)引入聚类优化模块将图表示学习与聚类两个过程联系起来，使得学习到的节点表示更适合聚类任务。在3个公开数据集和1个构建的期货数据集上的大量实验表明，所提方法优于目前最先进的基线方法，且具有实际应用价值。     

基于邻域交互和图神经网络的推荐模型

异质图中包含丰富的关系，图神经网络(Graph Neural Networks, GNNs)能够自然地整合节点关系，因此图神经网络在推荐领域显示出巨大的潜力.然而，现有基于图神经网络的推荐大多聚焦于学习用户和项目的表示，忽略了用户和项目间的交互信息.其次，这些模型很少学习元路径的明确表示.为了解决上述问题，本文提出一种基于邻域交互和图神经网络的推荐模型NGRec.该模型学习用户和项目的表示，并通过元路径引导的邻域来获取用户和项目间的交互，最后将节点表示和交互信息进行融合用于推荐.该模型在得到节点有效表示的基础上，融合节点间的交互，增强了推荐效果.在3种不同类型的异质图上进行大量的实验，证明了所提模型在性能上的提升.     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而，现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息，没有充分利用异质信息之间的交互。因此，提出一种新型的图神经网络推荐模型，把所有信息实体之间的丰富交互建模成异质图，并在异质图上使用稠密子图采样策略进行子图采样；此外，模型还加入多任务学习方法用于共同优化链接预测与推荐任务，使得模型学习到更好的节点表示，以提升推荐效果。2个公开数据集上的实验结果表明，所提模型相比基线模型，在Top-N推荐任务性能上有所提高。     

基于图卷积的异质网络节点分类方法

图神经网络能够有效学习网络语义信息,在节点分类任务上取得了良好的效果.但仍面临挑战：如何充分利用异质网络丰富语义信息和全面结构信息使节点分类更精准.针对上述问题,提出了一种基于图卷积的异质网络节点分类框架(heterogeneous network node classification framework, HNNCF),包括异质网络约简和图卷积节点分类,解决异质网络节点分类问题.通过设计转换规则约简异质网络,将异质网络化简为语义化同质网络,利用节点间的关系表示保留异质网络多语义信息,降低网络结构建模复杂度;基于消息传递框架设计图卷积节点分类方法,在语义化同质网络上学习无1-sum约束的邻居权重等网络结构信息,深入挖掘关系语义特征,发现不同连接关系和邻居语义提取的差异性,生成节点的异质语义表示用于节点分类,识别节点类别标签.在3个公开的节点分类数据集上进行了实验,结果表明HNNCF能够充分利用异质网络多种语义信息,有效学习邻居节点权重等网络结构信息,提升节点分类效果.     

一种针对关系不确定性的贝叶斯异质图神经网络

由不同类型的节点和边组成的异质图在现实世界中具有广泛的应用场景.近年来,针对此类图数据的异质图神经网络研究与应用取得了很好的进展,但是现有的异质图神经网络在构建时没有考虑到异质图中存在关系的不确定性问题,因而在面对包含不确定性的关系的对抗性实例干扰时也暴露出鲁棒性较弱的缺点.针对上述问题,本文提出贝叶斯异质图神经网络模型(Bayesian Heterogeneous Neural Network,BHNN),用于解决异质图中关系不确定性问题并提高模型的鲁棒性. BHNN首先基于异质图的领域知识预定义不同的元路径,然后针对表示单一关系的每条元路径构建由相同类型节点构成的元路径邻居图,每个元路径邻居图被看作是一个随机图参数族的实现并可以使用随机块模型对其建模,最后结合贝叶斯方法对随机图的参数和节点标签的联合后验进行推理得到节点的预测标签的概率分布.节点分类实验结果表明:在ACM、DBLP和IMDB三个基准数据集上,相比较于目前最好的图数据训练模型,BHNN的微F1与宏F1分别平均提高了1.59%与1.36%,这验证了本文算法的有效性和优越性.在节点攻击实验中,相比较于基准方法中的图神经网络...     

基于平移约束的异质超网络表示学习

与仅具有节点成对关系的普通网络不同,超网络的节点之间还存在复杂的元组关系,即,超边。而现有的大多数网络表示学习方法不能有效地捕获复杂的元组关系。针对上述问题,该文提出一种基于平移约束的异质超网络表示学习方法(HRTC)。首先,该方法结合团扩展和星型扩展将抽象为超图的异质超网络转换为抽象为2-截图+关联图的异质网络。然后,提出一种感知节点语义相关性的元路径游走方法来捕获节点之间的语义关系。最后,在训练节点成对关系的同时,通过引入知识表示学习中的平移机制来捕获节点之间的元组关系。实验结果表明,对于链接预测任务,该方法的性能接近于其他最优基线方法;对于超网络重建任务,当超边重建比率大于0.6时,该方法在drug数据集上的性能优于其他最优基线方法,同时该方法在GPS数据集上的平均性能超过其他最优基线方法16.24%。     

基于自监督的多视角图协同过滤推荐方法

现有的图协同过滤算法在现实场景中存在数据稀疏问题,同时在相邻信息聚合的过程中使得特征学习更容易受到交互噪声的影响。为了解决上述问题,提出一个基于自监督的多视角图协同过滤(SMGCF)推荐方法,通过图神经网络学习用户和项目节点的嵌入表示。在学习节点嵌入表示的过程中,考虑到单个节点间的交互关系以及聚类节点间的聚类关系对推荐结果的影响,引入自监督学习来辅助图协同过滤算法进行多视角关系的挖掘。针对节点交互级关系视角,通过数据增强得到多个用户-项目交互二分图,并且提出一种节点交互级关系的对比学习方法;针对节点聚类级关系视角,提出一种节点聚类级关系的对比学习方法。通过多视角融合策略将2种类型的对比学习方法进行融合,从而提升节点嵌入效果。在4个公开的数据集上进行实验,实验结果证明了SMGCF的可行性和有效性。相比最优基准方法NCL,SMGCF在Recall@10和NDCG@10指标上最高可提升2.1%和4.3%。     

一种融合节点先验信息的图表示学习方法

图表示学习是实现各类图挖掘任务的基础。现实当中的图数据,不仅包含复杂的网络结构,还包括多样化的节点信息。如何将网络结构和节点信息更加有效地融入图的表示学习中,是一个重要的问题。为了解决这一问题,本文基于深度学习提出了融合节点先验信息的图表示学习方法。该方法将节点特征作为先验知识,要求学习到的表示向量同时保持图数据中的网络结构相似性和节点特征相似性。该方法的时间复杂度为O（|V|）,其中|V|为图节点数量,表明该方法适用于大规模图数据分析。同时,在多个数据集上的实验结果表明,所提出的方法相比目前流行的几种基线方法,在分类任务上能够获得良好而稳定的优势。     

基于深度学习的异质信息网络表示学习方法综述

万物依存而在，现实世界中的实体之间存在着各种不同的关联关系，如人与人之间的关系可以构成社交网络，学者通过共同发表论文、引用文献构成引文网络。同质网络将节点和边抽象为单一类型，但是这会造成大量的信息丢失。为了更大程度地保证信息的完整性和丰富性，有研究者提出了异质信息网络的概念，即包含多种类型节点和边的网络模式。将异质信息网络中的拓扑结构和语义信息嵌入到低维向量空间中，下游任务能够利用异质信息网络中的丰富信息进行机器学习或数据挖掘任务。文中总结了近年来基于深度学习模型的异质信息网络表示学习方法的研究成果，同时聚焦两类关键问题——异质信息网络语义自动提取和动态异质信息网络的表示学习方法，列举了异质信息网络表示学习新的应用场景，并展望了异质信息网络的未来发展趋势。     

基于异质信息网络表示学习与注意力神经网络的推荐算法

推荐系统能够有效解决信息过载等问题,得到了国内外众多学者的广泛关注。真实世界中的应用场景往往可以建模成异质信息网络,因此基于异质信息网络表示学习的推荐算法成为了近年来的研究热点。然而,当前的研究工作仍然存在异质信息提取缺乏深度、节点的复杂关系发掘不充分等问题。为解决这些问题,文中提出了基于异质信息网络表示学习与注意力神经网络的推荐算法。首先,提出了保持语义关系与结构拓扑的异质信息网络表示方法;然后,设计了基于元路径的随机游走策略来获取异质信息网络中的节点序列,对序列过滤并生成用户和项目在不同元路径下的表示向量;最后,设计了基于注意力神经网络的推荐算法,将上述向量输入注意力神经网络,深入挖掘表示向量之间的关系以实现有效的推荐。在两个真实数据集上进行实验并与3种主流的算法进行比较,结果表明,所提算法在MAE与RMSE这2个推荐指标方面都有提升,最高提升了8.9%。     

超边约束的异质超网络表示学习方法

与普通网络相比，超网络具有复杂的元组关系（超边），然而现有的大多数网络表示学习方法并不能捕获元组关系。针对上述问题，提出一种超边约束的异质超网络表示学习方法（HRHC）。首先，引入一种结合团扩展和星型扩展的方法，从而将异质超网络转换为异质网络；其次，引入感知节点语义相关性的元路径游走方法捕获异质节点之间的语义关系；最后，通过超边约束机制捕获节点之间的元组关系，从而获得高质量的节点表示向量。在3个真实世界的超网络数据集上的实验结果表明，对于链接预测任务，所提方法在drug、GPS和MovieLens数据集上都取得了较好的结果；对于超网络重建任务，当超边重建比率大于0.6时，所提方法在drug数据集上的准确性（ACC）优于次优的Hyper2vec(biased 2nd order random walks in Hyper-networks)，同时所提方法在GPS数据集上的ACC超过其他基线方法中次优的基于关联图的超边超边约束的异质超网络表示学习方法（HRHC-关联图）15.6个百分点。     

基于图划分抽样算法的图表示学习

在基于神经网络的图表示算法中,当节点属性维度过高、图的规模过大时,从内存到显存的数据传输会成为训练性能的瓶颈。针对这类问题,该方法将图划分算法应用于图表示学习中,降低了内存访问的I/O开销。该方法根据图节点的度数,将图划分成若干个块,使用显存缓存池存储若干个特征矩阵块。每一轮训练,使用缓存池中的特征矩阵块,以此来减少内存到显存的数据拷贝。针对这一思想,该方法使用基于图划分的抽样算法,设计显存的缓存池来降低内存的访问,运用多级负采样算法,降低训练中负样本采样的时间复杂度。在多个数据集上,与现有方法对比发现,该方法的下游机器学习准确率与原算法基本一致,训练效率可以提高2~ 7倍。实验结果表明,基于图划分的图表示学习能高效训练模型,同时保证节点表示向量的测试效果。今后的课题可以使用严谨的理论证明,阐明图划分模型与原模型的理论误差。     

一种结合聚集图嵌入的社会化推荐算法

社交网络信息已被广泛的应用到传统的推荐上,一定程度上减轻了数据稀疏和冷启动问题.随着表示学习的兴起,出现了利用表示学习进行推荐的算法研究.然而社交网络过大,表示学习可扩展性差,难以在有限内存中进行计算.聚集图通过空间压缩,保留了关键的结构关系,去除次要或噪音的结构数据,便于表示学习能够有效学习图结构,从而更好地找到相似用户进行推荐.首先,利用图聚集算法同时考虑分组间及分组内的结构得到最终的聚集图;其次,在聚集图上计算随机游走的转移概率,然后选择每个具有偏差概率的后继节点并生成节点序列;最后将节点序列输入到skip-gram学习用户的潜在表示,获得节点的表示向量整合其信息到贝叶斯个性化排序模型(BPR)来解决项目排名问题.实验结果表明,该方法相比于社会化贝叶斯个性化排序(SBPR)、协同用户网络嵌入(CUNE)等基线方法在推荐任务中保持时间效率的同时有效提升了准确率、召回率和平均精度均值.     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

基于异构图嵌入的论文个性化推荐算法

【背景】科技论文数量的快速增长使得如何快速查找或定位到感兴趣的文献资料成为了科研人员在科学研究过程中一个亟待解决的问题。【目的】本文旨在研究并提出一种基于图嵌入的论文推荐算法,尝试解决面向用户的论文个性化推荐问题。【方法】本文提出了一种基于异构图嵌入的论文个性化推荐算法。该算法通过异构图嵌入模型构建论文节点的嵌入表示,同时基于作者已发表的论文构建该作者的兴趣表示,最终利用两者之间的相似度对作者进行论文推荐。【结论】在DBLP数据集上的实验证明了本文提出的模型及算法的有效性。     

基于协作推断的正例未标注图学习算法

针对现有正例未标注图学习方法仅提取节点表征信息、独立推断节点类别的问题,提出了一种基于协作推断分类算法,利用节点之间关联信息来帮助推断未标注节点的标签。首先,采用个性化网页排位算法计算每个节点与全体已知正例节点的关联度。其次,采用一个图神经网络学习节点表征信息,与正例关联度联合构造一个局部分类器,预测未标注节点标签;采用另一个图神经网络获取局部节点标签之间依赖关系,与正例关联度联合构造一个关系分类器,协作更新未标注节点标签。然后,借鉴马尔可夫图神经网络方法交替迭代地训练两者,形成多跳步节点标签之间的协作推断;并且,为有效利用正例与未标注节点训练分类器,提出了混合非负无偏风险评估函数。最后,选择两者中任意一个,预测未标注节点的类别。在真实数据集上的实验结果表明,无论是识别单类别正例还是识别多类别合成正例,所述算法均表现出比其他正例未标注学习方法更佳效果,且对正例先验概率误差表现出更好的鲁棒性。     

基于异质网络表示学习的姓名消歧

在系统中搜索某一姓名时,会返回该同名作者的所有文档(如论文、网页),严重影响用户体验,姓名消歧可提高检索精度.因此,文中提出基于异质网络表示学习的姓名消歧方法.首先为每个歧义姓名构造一个论文异质网络.然后使用异质网络表示学习并结合词向量化语义表征学习方法,获取网络中每个论文节点的表征向量.最后使用具有噪声的基于密度的聚类方法与规则匹配结合的聚类方法将论文划分给不同的作者实体.文中方法在OAG-WholsWho比赛数据集上的性能较优,结果验证方法的有效性.     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。