基于生成对抗模型的异质信息网络语义表征方法研究

近些年,网络表示学习问题吸引了大量研究者的关注,而异构信息网络由于其丰富的结构语义信息及其广阔的应用领域,更是成为了网络表示学习领域的重中之重。目前面向异构信息网络的表示学习模型主要可以分为基于生成式模型的表示学习方法和基于判别式模型的表示学习方法,但是很少有工作同时结合两种模型进行表示学习的优化。该文提出了结合生成式模型和判别式模型的异构信息网络表示学习模型HINGAN,主要是将对抗生成思想融入异构信息网络表示学习过程中,达到优化网络表示结果的目的。该模型首先在元路径的引导下构建带权信息网络图,然后在带权图上计算更新构造的生成器和判别器参数,通过生成对抗的博弈思想来获取最大收益。在AMiner和DBLP两个真实学术图谱数据集上的实验结果表明,HINGAN在多标签分类、链路预测以及可视化方面都能比现在主流的网络表示方法取得更优的效果,并且HINGAN可以应用于大规模的异构网络数据的表示和计算。除此之外,该文还总结了已有研究成果并对未来研究可能面临的挑战进行了展望。     

基于生成对抗网络和元路径的异质网络表示学习

现实世界中的信息网络大多为异质信息网络,旨在表示低维空间中节点数据的网络表示方法已普遍用于分析异质信息网络,从而有效融合异质网络中丰富的语义信息和结构信息.但是现有的异质网络表示方法通常采用负采样从网络中随机选择节点,并且对节点和边的异质性学习能力不足.受生成式对抗网络和元路径的启发,文中提出了一种新型的异质网络表示方...     

基于动态投影嵌入的多维异质网络可视化研究

异质网络是包含多种类型节点和边的复杂信息网络,因此异质网络的可视化通常涉及异质信息的有效处理与可视技术,传统的网络可视化技术对于异质网络可视化来说布局效果混乱、异质信息难以体现。为此提出一种基于动态投影嵌入的多维度异质网络可视化方法。该方法从异质网络的表示学习方法入手,提出动态投影嵌入模型来学习异质网络的节点表示,在此基础上,提出了多维度（空间）的可视化方法,将异质网络节点根据不同属性映射至不同关系空间中进行可视化分析,从而挖掘出潜在的语义信息。实验结果表明,提出的方法不仅使异质网络表示学习的评价指标（MRR）提升了10%,而且从多维度（空间）对异质网络进行可视化,有效地展示和挖掘了网络中的异质信息与潜在语义信息。     

基于深度学习的异质信息网络表示学习方法综述

万物依存而在，现实世界中的实体之间存在着各种不同的关联关系，如人与人之间的关系可以构成社交网络，学者通过共同发表论文、引用文献构成引文网络。同质网络将节点和边抽象为单一类型，但是这会造成大量的信息丢失。为了更大程度地保证信息的完整性和丰富性，有研究者提出了异质信息网络的概念，即包含多种类型节点和边的网络模式。将异质信息网络中的拓扑结构和语义信息嵌入到低维向量空间中，下游任务能够利用异质信息网络中的丰富信息进行机器学习或数据挖掘任务。文中总结了近年来基于深度学习模型的异质信息网络表示学习方法的研究成果，同时聚焦两类关键问题——异质信息网络语义自动提取和动态异质信息网络的表示学习方法，列举了异质信息网络表示学习新的应用场景，并展望了异质信息网络的未来发展趋势。     

基于角色的网络表征学习方法

网络表征学习技术被广泛应用于获取网络中节点的特征及其语义。已有网络表征学习方法主要研究邻接矩阵或邻接矩阵的幂,使得向量空间中一个节点的相似节点存在于网络中与它相近的局部区域,而未考虑全局区域的结构等价性。根据角色信息,提出基于角色的矩阵分解（Role-MF）模型来获取节点表示。Role-MF模型将角色信息融合在随机游走方法中,在考虑局部信息的同时利用角色信息设计明确的目标矩阵,并通过奇异值分解得到节点表征。实验结果表明,与现有的DWMF、DeepWalk等模型相比,Role-MF模型可以保留结构等价性,当训练比例为10%和90%时,F1值和AUC等各项指标在节点分类和链路预测中都取得了更好的效果。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于网络表示学习的论文影响力预测算法

基于图的随机游走算法在预测论文影响力时,仅利用学术网络的全局结构信息而未考虑局部结构信息,对预测准确率造成影响。针对该问题,提出一种基于异构学术网络表示学习和多变量随机游走的论文影响力预测算法。通过构建异构学术网络表示模型,将网络中的论文、作者和期刊/会议等不同类型的节点表征到同一个低维向量空间中,同时保留网络的局部结构信息,将节点的向量相似度应用于多变量随机游走方法,实现对论文影响力的准确预测。在AMiner网站公开数据集上的实验结果表明,相比于PageRank、FutureRank等算法,该算法的预测准确性较高。     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。     

基于超图卷积的异质网络半监督节点分类

近几年,图神经网络(Graph Neural Network)由于能够较好地提取网络结构信息以获得网络表示,逐渐成为网络节点分类的主流算法.然而,与广泛研究的同质信息网络相比,真实世界中网络往往是由不同类型的对象通过复杂关系相互连接所构成的异质信息网络.异质信息网络包含复杂的结构信息和丰富的语义信息,这也给网络节点分类提供了新的机遇与挑战.在异质信息网络中,网络模体(Motif)能够用于理解和探索复杂网络,其既能描述复杂的语义信息,又能保存网络中高阶近邻结构信息.因此,提出基于网络模体的异质超图卷积网络模型MHGCN(Motif-based HyperGraph Convolutional Network).首先,将重复出现的高阶网络模体建模为多个相关节点所构成的超边(hyperedge),进而将整个异质信息网络转换成由不同超边构成的超图,以克服同质网络中只能描述节点之间(pair-wise)关系的缺点;然后,利用超图的基本性质和谱理论设计超图上的卷积操作,同时引入超边自注意力机制聚合超图内部不同类型的节点,并通过在超图网络中加入自环解决在模型的前向传播过程中对异质信息网络覆盖不足的问题;最后,通过注意力机制对于不同语义的超图表示进行聚合,从而使最终的节点表示可以有效保持高阶近邻关系和复杂的语义信息.由于MHGCN是端到端的,最终模型直接学习得到节点的分类标签,并通过半监督节点分类任务进行验证,与其它方法相比,MHGCN在DBLP-P、DBLP-A数据集上比最好的基准方法micro-F1提高了0.56％～3.51％,macro-F1提高了0.54％～4.37％,验证了MHGCN模型的有效性.     

引入外部词向量的文本信息网络表示学习

针对信息网络（text-based information network）现有研究多基于网络自身信息建模,受限于任务语料规模,只使用任务相关文本进行建模容易产生语义漂移或语义残缺的问题,本文将外部语料引入建模过程中,利用外部语料得到的词向量对建模过程进行优化,提出基于外部词向量的网络表示模型NE-EWV（network embedding based on external word vectors）,从语义特征空间以及结构特征空间两个角度学习特征融合的网络表示。通过实验,在现实网络数据集中对模型有效性进行了验证。实验结果表明,在链接预测任务中的AUC指标,相比只考虑结构特征的模型提升7%~19%,相比考虑结构与文本特征的模型在大部分情况下有1%~12%提升;在节点分类任务中,与基线方法中性能最好的CANE性能相当。证明引入外部词向量作为外部知识能够有效提升网络表示能力。     

互信息与多条元路径融合的异质网络表示学习方法

异质信息网络能够对真实世界的诸多复杂应用场景进行建模,其表示学习研究也得到了众多学者的广泛关注.现有的异质网络表示学习方法大多基于元路径来捕获网络中的结构和语义信息,已经在后续的网络分析任务中取得很好的效果.然而,此类方法忽略了元路径的内部节点信息和不同元路径实例的重要性;仅能捕捉到节点的局部信息.因此,提出互信息与多条元路径融合的异质网络表示学习方法.首先,利用一种称为关系旋转编码的元路径内部编码方式,基于相邻节点和元路径上下文节点捕获异质信息网络的结构和语义信息,采用注意力机制来建模各元路径实例的重要性;然后,提出一种互信息最大化与多条元路径融合的无监督异质网络表示学习方法,使用互信息捕获全局信息以及全局信息和局部信息之间的联系.最后,在两个真实数据集上进行实验,并与当前主流的算法进行比较分析.结果表明,所提方法在节点分类和聚类任务上性能都有提升,甚至和一些半监督算法相比也表现出强劲性能.     

基于融合元路径权重的异质网络表征学习

针对基于单条元路径的异质网络表征缺失异质信息网络中结构信息及其它元路径语义信息的问题,本文提出了基于融合元路径权重的异质网络表征学习方法.该方法对异质信息网络中元路径集合进行权重学习,进而对基于不同元路径的低维表征进行加权融合,得到融合不同元路径语义信息的异质网络表征.实验结果表明,基于融合元路径权重的异质网络表征学习具有良好的表征学习能力,可有效应用于数据挖掘.     

基于元路径与层次注意力的时序异质信息网络表示学习方法

异质信息网络表示学习在节点分类、链接预测、个性化推荐等多个领域上被广泛应用.现有的异质信息网络表示学习方法大多集中在静态网络,忽略网络中时间属性对节点表示的影响.为了解决该问题,文中提出基于元路径和层次注意力的时序异质信息网络表示学习方法.利用元路径捕获异质信息网络中的结构和语义信息.通过时间衰减注意力层,捕获不同元路径实例在特定时间对目标节点的影响.通过元路径级别注意力,融合不同元路径下的节点表示,得到最终表示.在DBLP、IMDB数据集上的实验表明,文中方法在节点分类和节点聚类任务上均可达到较优效果.     

异质信息网络表征学习综述

随着信息技术的快速发展,信息网络无处不在,例如社交网络、学术网络、万维网等.由于网络规模不断扩大以及数据的稀疏性,信息网络的分析方法面临巨大挑战.作为应对网络规模及数据稀疏挑战的有效方法,信息网络表征学习旨在利用网络的拓扑结构、节点内容等信息将节点嵌入到低维的向量空间中,同时保留原始网络固有的结构特征和内容特征,从而使...     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

基于GAN异质网络表示学习的疾病关联预测算法

分析疾病与基因、miRNA等生物实体之间的关联是生物研究领域的重要目标,然而利用海量的数据进行生物学实验成本过高。提出一种基于网络表示学习的关联预测算法,通过多源数据集构建生物异质网络,并给出基于生成式对抗网络的异质网络表示学习算法学习鲁棒的向量表示,算法中的判别器和生成器考虑网络中的关系来捕获丰富的异质语义信息,并通过对抗学习进行训练,在此基础上通过衡量实体向量的相似性预测疾病和基因、miRNA之间的关联。实验结果表明,与HSSVM、GAN等算法相比,该算法在两个关联预测任务上均取得了最高的AUC值,具有更好的预测结果,并且通过引入更多异质数据进行训练,有效提升了算法性能。     

基于异构信息网络元路径作张量分解的深度学习推荐系统

过去基于学习用户和物品的表征向量的推荐系统算法在大规模数据中取得了较好的结果。相比早期经典的基于矩阵分解（matrix factorization,MF）的推荐算法,近几年流行的基于深度学习的方法,在稀疏的数据集中具有更好的泛化能力。但许多方法只考虑了二维的评分矩阵信息,或者简单的对各种属性做嵌入表征,而忽略了各种属性之间的内部关系。异构信息网络（heterogeneous information network,HIN）相比同构网络能够存储更加丰富的语义特征。近几年结合异构信息网络与深度学习的推荐系统,通过元路径挖掘关键语义信息的方法成为研究热点。
为了更好地挖掘各种辅助信息与用户喜好的关联性,本文结合张量分解、异构信息网络与深度学习方法,提出了新的模型hin-dcf。首先,基于数据集构建特定场景的异构信息网络;对于某一元路径,根据异构图中的路径信息生成其关联性矩阵。其次,合并不同元路径的关联性矩阵后,得到包含用户、物品、元路径三个维度的张量。接着,通过经典的张量分解算法,将用户、物品、元路径映射到相同维度的隐语义向量空间中。并且将分解得到的隐语义向量作为深度神经网络的输入层的初始化。考虑到不同用户对不同元路径的关联性偏好不同,融入注意力机制,学习不同用户、物品,与不同元路径的偏好权重。在实验部分,该模型在精确度上有效提升,并且更好地应对了数据稀疏的问题。最后提出了未来可能的研究方向。     

异质信息网络高阶层次化嵌入学习与推荐预测

异质信息网络是一种异质数据表示形式,如何融合异质数据复杂语义信息,是推荐系统面临的挑战之一.利用弱关系具有的丰富语义和信息传递能力,构建一种面向推荐系统的异质信息网络高阶嵌入学习框架,主要包括:初始化信息嵌入、高阶信息嵌入聚合与推荐预测3个模块.初始化信息嵌入模块首先采用基于弱关系的异质信息网络最佳信任路径筛选算法,有效地避免在全关系异质信息网络中,采样固定数量邻居造成的信息损失,其次利用新定义的基于多头图注意力的多任务共享特征重要性度量因子,筛选出节点的语义信息,并结合交互结构,有效地表征网络节点;高阶信息嵌入聚合模块通过融入弱关系及网络嵌入对知识良好的表征能力,实现高阶信息表达,并利用异质信息网络的层级传播机制,将被采样节点的特征聚合到待预测节点;推荐预测模块利用高阶信息的影响力推荐方法,实现了推荐任务.该框架具有嵌入节点类型丰富、融合共享属性和隐式交互信息等特点.最后,实验验证UI-HEHo学习框架可有效地改善评级预测的准确性,以及推荐生成的针对性、新颖性和多样性,尤其是在数据稀疏的应用场景中,具有良好的推荐效果.     

Multi-view Contrastive Enhanced Heterogeneous Graph Structure Learning

As a learning method of heterogeneous graph representation, heterogeneous graph neural networks can effectively extract complex structural and semantic information from heterogeneous graphs, and perform excellently in node classification and link prediction tasks to provide strong support for the representation and analysis of knowledge graphs. Due to the existence of some noisy interactions or missing interactions in the heterogeneous graphs, the heterogeneous graph neural network incorporates erroneous neighbor features, thus affecting the overall performance of the model. To solve the above problems, in this paper we proposes a heterogeneous graph structure learning model enhanced by multi-view contrast. Firstly, the semantic information in the heterogeneous graph is maintained by the meta-path, and the similarity graph is generated by calculating the feature similarity among the nodes under each meta-path, which is fused with the meta-path graph to optimize the graph structure. By contrasting the similarity graph and meta-path graph as multiple views, the graph structure is optimized without supervision information, and the dependence on supervision signals is eliminated. Finally, for addressing the problem that the learning ability of the neural network model is insufficient at the initial training stage and there are often erroneous interactions in the generated graph structure, we design a progressive graph structure fusion method. Through incremental weighted addition of meta-path graphs and similarity graphs, the weight of similarity graphs in the fusion is changed. This not only prevents erroneous interactions from being introduced in the initial training stage but also achieves the purpose of employing the interactions in similarity graphs to suppress interference interactions or complete missing interactions, which leads to the optimized heterogeneous structure. Meanwhile, node classification and node clustering are selected as the verification tasks of graph structure learning. The experimental results on four real heterogeneous graph datasets prove that the proposed learning method is feasible and effective. Compared with the optimal comparison model, the performance of this model has been significantly improved under both tasks.