直推式网络表示学习

网络表示学习是一个经典的学习问题,其目的是将高维的网络在低维度的向量空间进行表示。目前大多数的网络表示学习方法都是无监督的,忽视了标签信息。受LINE(large-scale information network embed-ding)算法启发而提出了一种半监督的学习算法TLINE。TLINE是一种直推式表示学习算法,其通过优化LINE部分的目标函数来保留网络的局部特性。而标签信息部分,则使用线性支持向量机(support vector machine)来提高带标签结点的区分度。通过边采样、负采样和异步随机梯度下降来降低算法的复杂度,从而使TLINE算法可以处理大型的网络。最后,在论文引用数据集Cite Seer和共同作者数据集DBLP上进行了实验,实验结果表明,TLINE算法明显优于经典的无监督网络表示学习算法Deep Walk和LINE。     

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。     

基于无监督集群级的科技论文异质图节点表示学习方法

科技论文数据的知识表征是一个有待解决的问题,而如何学习科技论文异质网络中论文节点的表示是解决这一问题的核心。文中提出了一种基于无监督集群级的科技论文异质图节点表示学习方法(Unsupervised Cluster-level Scientific Paper Heterogeneous Graph Node Representation Learning Method, UCHL),以获取科技论文异质图中节点(作者、机构与论文等)的表示。基于科技论文异质图表示对整个异质图进行链接预测,获取节点之间边的关系,即论文与论文之间的关联关系。实验结果表明,在真实的科技论文数据集上,所提方法在多项评测指标上都取得了更优的性能。     

基于图划分抽样算法的图表示学习

在基于神经网络的图表示算法中,当节点属性维度过高、图的规模过大时,从内存到显存的数据传输会成为训练性能的瓶颈。针对这类问题,该方法将图划分算法应用于图表示学习中,降低了内存访问的I/O开销。该方法根据图节点的度数,将图划分成若干个块,使用显存缓存池存储若干个特征矩阵块。每一轮训练,使用缓存池中的特征矩阵块,以此来减少内存到显存的数据拷贝。针对这一思想,该方法使用基于图划分的抽样算法,设计显存的缓存池来降低内存的访问,运用多级负采样算法,降低训练中负样本采样的时间复杂度。在多个数据集上,与现有方法对比发现,该方法的下游机器学习准确率与原算法基本一致,训练效率可以提高2~ 7倍。实验结果表明,基于图划分的图表示学习能高效训练模型,同时保证节点表示向量的测试效果。今后的课题可以使用严谨的理论证明,阐明图划分模型与原模型的理论误差。     

图表示学习短视频智能推荐研究综述

随着短视频数量的爆发式增长, 精准的个性化短视频推荐成为学术界和工业界的迫切需求。然而,现有的推荐方法没有考虑实际的短视频具有数据多源异构多模态、用户行为复杂多样、用户兴趣动态变化等特点。短视频模态间的语义鸿沟、社交网络用户多行为挖掘、用户动态兴趣捕捉依然是短视频推荐领域面临的三个重要问题。针对当前推荐系统存在的问题,并充分考虑短视频推荐系统的实际需求,本文介绍了短视频推荐中基于图表示学习的短视频推荐方法;研究了短视频异构多模态特征表示,充分挖掘视频内容特征并进行高效融合;研究了短视频社交网络用户多行为表示,通过社交网络用户多种行为挖掘更细粒度的用户偏好;研究了用户的动态偏好表示方法,通过利用时序信息建模用户的动态兴趣,保证推荐结果的准确度并增加其多样性与个性化。本研究可在理论和实践上推进基于图特征学习的短视频推荐研究,也可作为短视频推荐系统的关键技术。     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

互信息与多条元路径融合的异质网络表示学习方法

异质信息网络能够对真实世界的诸多复杂应用场景进行建模,其表示学习研究也得到了众多学者的广泛关注.现有的异质网络表示学习方法大多基于元路径来捕获网络中的结构和语义信息,已经在后续的网络分析任务中取得很好的效果.然而,此类方法忽略了元路径的内部节点信息和不同元路径实例的重要性;仅能捕捉到节点的局部信息.因此,提出互信息与多条元路径融合的异质网络表示学习方法.首先,利用一种称为关系旋转编码的元路径内部编码方式,基于相邻节点和元路径上下文节点捕获异质信息网络的结构和语义信息,采用注意力机制来建模各元路径实例的重要性;然后,提出一种互信息最大化与多条元路径融合的无监督异质网络表示学习方法,使用互信息捕获全局信息以及全局信息和局部信息之间的联系.最后,在两个真实数据集上进行实验,并与当前主流的算法进行比较分析.结果表明,所提方法在节点分类和聚类任务上性能都有提升,甚至和一些半监督算法相比也表现出强劲性能.     

图对比学习综述

对比学习作为一种自监督式的深度学习范式,在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发,近年来大量研究者尝试将其拓展到图数据上,这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务,而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者,该文梳理了近些年来的图对比学习模型,通过将现有工作归纳到一个统一的框架下,突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标,并展望了该领域未来的发展方向。     

基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注. 现有图神经网络方法主要建模静态同质图数据,然而现实世界复杂系统往往包含多类型动态演化的实体及关系,此类复杂系统更适合建模为动态异质图. 目前,动态异质图表示学习方法主要集中于半监督学习范式,其存在监督信息昂贵和泛化性较差等问题. 针对以上问题,提出了一种基于对比学习的全局增强动态异质图神经网络. 具体地,所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示,然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息. 实验结果表明,提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.

     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,...     

基于对比学习的多关系属性图聚类方法

现实世界包含复杂的图数据,其节点之间通常包含多种关系,这种图被称为多关系属性图。图聚类是挖掘图数据相似信息的技术之一,然而现有的图聚类的方法大多只适用于单关系图。即使有的方法考虑到了多关系图,也往往是将图表示学习与聚类看作两个单独的过程。受Deep Graph Infomax(DGI)算法的启发,文中设计了一种基于对比学习的多关系属性图的聚类方法(CCLMAG),用于解决上述问题：1)通过引入社区级互信息机制,弥补了DGI算法无法融合簇信息的缺点;2)引入嵌入融合模块来聚合不同关系上的节点嵌入;3)引入聚类优化模块将图表示学习与聚类两个过程联系起来,使得学习到的节点表示更适合聚类任务。在3个公开数据集和1个构建的期货数据集上的大量实验表明,所提方法优于目前最先进的基线方法,且具有实际应用价值。     

基于图表示学习的会话感知推荐模型

根据历史记录预测用户的下一次点击(即基于会话的推荐)是推荐系统中一个重要的子任务.重点研究会话推荐中如何在不牺牲预测准确性的情况下缓解用户的兴趣漂移问题,提高用户满意度.基本思想是从全局统计的角度出发,建立一个用于表示物品先后点击顺序的物品依赖关系图,据此提出一种图表示学习算法,生成可以保留关联物品间复杂关联关系的物品向量表达,最后,基于长/短期记忆机制,将物品向量表达作为“固定”输入,从而构建一个可以同时捕捉用户长期兴趣和短期兴趣的会话感知推荐模型.不同于其他相关工作,首次提出将下一次点击预测模型建立在“固定”物品表达的基础上.在公开数据集上的实验结果表明：提出的推荐模型在预测准确性和推荐多样新颖性上的表现优于其他相关方法.     

基于多图的交替优化图直推方法

针对基于单图的半监督学习(GSSL)算法的性能受单个图质量的影响,且在单视图数据下,大多数基于多图的GSSL算法难以使用的问题,提出了一种基于多图的交替优化图直推方法(MG-GTAM)。首先,使用不同的图构建参数来构建单视图数据下的多个图,利用多个图来表达数据间关系;然后,借助交替迭代方式综合多个图的信息,选择置信度高的未标记样本进行伪标记并通过权重权衡各图的重要程度,以优化多图上的预测函数的一致性和平滑性;最后通过组合每个图的预测函数完成对所有未标记样本的标记。仿真实验表明,与经典的局部和全局一致(LGC)、高斯随机场和调和函数(GFHF)、交替优化直推(GTAM)、组合图拉普拉斯(CGL)算法相比,在COIL20目标物体数据集和NEC Animal数据集上,MG-GTAM的分类错误率比这些经典算法均有下降,表明了该方法具有良好的性能。实验结果表明, MG-GTAM能有效地利用多个图来表达数据之间的关系,获得更低的分类错误率。     

基于节点相似性的图注意力网络表示学习模型

图注意力网络(GAT)通过注意力机制聚合节点的邻居信息以提取节点的结构特征,然而并没有考虑网络中潜在的节点相似性特征。针对以上问题,提出了一种考虑网络中相似节点的网络表示学习方法NSGAN。首先,在节点层面上,通过图注意力机制分别学习相似网络和原始网络的结构特征;其次,在图层面上,将两个网络对应的节点嵌入通过基于图层面的注意力机制聚合在一起,生成节点最终的嵌入表示。在三个数据集上进行节点分类实验,NSGAN比传统的图注意力网络方法的准确率提高了约2%。     

基于改进图正则项的自编码器特征学习算法

传统的图正则化方法使用欧氏距离度量样本空间的相似度,并不能准确考察复杂数据集的邻域信息,容易导致模型在复杂形状数据和非凸数据集中的泛化性能下降。提出一种改进的图正则算法,使用等距特征映射保留样本空间的邻域信息,帮助模型进行流形学习,同时结合使用KL约束进一步使得数据表示的外部结构变得光滑,从而捕获到更稀疏和高级的特征表示。在MNIST和YaleB等数据集上的实验结果表明,相比于流行的几种特征提取算法,该算法能够提取到更有意义和稳健的特征。在分类任务和聚类任务上具有优势,同时具有更好的抗干扰性能。     

主题增强的多层次图神经网络会话推荐模型

基于会话的推荐旨在基于会话内数据,为匿名或未登录用户做出推荐.现有的研究工作通常仅以会话中单个商品作为最小单位进行建模,忽略商品在不同感受野下的表征.同时,尚未挖掘会话序列中蕴含的商品隐式主题信息.为了缓解上述问题,文中提出主题增强的多层次图神经网络会话推荐模型(Topic-Enhanced Multi-level Graph Neural Network for Session-Based Recommendation, TEMGNN).首先,设计多层次商品嵌入学习模块,拓宽商品的感受野,获取不同粒度下的商品表示.然后,结合文中提出的多层次图神经网络进行同粒度和跨粒度下的商品信息传播,捕获更丰富的商品嵌入表征.此外,提出商品主题学习模块,在不依赖任何商品属性信息的前提下,抽取商品在隐空间下的主题共性,并以显式的向量空间投影方式自动形成商品的主题表示,用于增强模型推荐性能.在3个基准数据集上的实验表明,TEMGNN的表现较优.     

基于图对比学习的多模态交通流量协同预测方法

准确的城市区域交通流量预测对市区车辆调度、公交系统优化等具有重要指导意义。目前,大多数现有的交通流量预测方法只考虑规则网格区域上单一种类的交通流量预测,忽略了交通网络中空间的不规则性和异质性以及不同出行模式交通流的交互性。针对上述问题,提出了一种基于图对比学习的多模态交通流量协同预测方法(CoF-MGCL),以揭示各类出行方式之间的交互对不规则异构区域的交通需求的影响。具体而言,根据现实中城市的不规则区域采集多模态流量数据,包括各类出行模式流量(如自行车和出租车流量)和总流量;并对不规则区域构建多关系异构图,包括地理邻近和功能相似关系。通过异构图编码模块,可以结合异构图中不同的关系来学习各区域各类交通流量的高质量表征信息。学习到的单一交通流量表征经过注意力机制加权融合后与总交通流量表征进行图对比学习,以捕获不同出行模式之间的交互关系。最后,使用互信息约束实现多模态流量的协同预测,确保多模态信息学习最大化。为了实现不规则区域的多模态交通流量预测,自行构建了新的纽约市曼哈顿区和芝加哥市两地多模态交通流量数据集,并在此基础上进行实验。实验结果表明,所提方法可以结合现有的单模态交通流量预测模型...     

基于层级注意力模型的无监督文档表示学习

许多自然语言应用需要将输入的文本表示成一个固定长度的向量,现有的技术如词嵌入（Word Embeddings）和文档表示（Document Representation）为自然语言任务提供特征表示,但是它们没有考虑句子中每个单词的重要性差别,同时也忽略一个句子在一篇文档中的重要性差别.本文提出一个基于层级注意力机制的文档表示模型（HADR）,而且考虑文档中重要的句子和句子中重要的单词因素.实验结果表明,在考虑了单词的重要和句子重要性的文档表示具有更好的性能.该模型在文档（IMBD）的情感分类上的正确率高于Doc2Vec和Word2Vec模型.     

异质网络特征表示学习研究综述

异质网络特征表示学习技术在各类机器学习任务中发挥了重要的作用。然而目前针对该研究领域的综述却很少。本文对异质网络特征表示学习领域的最新研究进展作系统性的综述。首先,基于“编码器-解码器”的框架,将现有模型分为六类;然后,对每类模型进行系统性地概览、描述和分析,总结每一类模型的优势和缺陷;最后,总结全文并讨论了该领域的开放性问题。     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...