网络表示学习算法综述

网络是一系列节点和边的集合,通常表示成一个包含节点和边的图。许多复杂系统都以网络的形式来表示,如社交网络、生物网络和信息网络。为了使网络数据的处理变得简单有效,针对网络中节点的表示学习成为了近年来的研究热点。网络表示学习旨在为网络中的每个节点学习一个低维稠密的表示向量,进而可将得到的向量表示运用到常见的网络分析任务中,如节点聚类、节点分类和链路预测等。然而,绝大多数真实网络节点都有丰富的属性信息,如社交网络中的用户资料和引文网络中的文本内容。网络的属性信息对网络表示具有重要的作用,当网络高度稀疏时,网络的属性信息是网络表示重要的辅助信息,有助于更好地学习网络表示。传统的邻接矩阵仅仅表示了边的信息,而无法加入节点的属性信息。因此,网络表示不仅要保存网络的结构信息,还要保存网络的属性信息。此外,大多数真实世界网络都是动态变化的,这种变化包括网络节点的增加和减少,以及网络边的新建和消失。同时,与网络结构变化相似,网络中的属性也会随着时间的推移发生变化。随着机器学习技术的发展,针对网络表示学习问题的研究成果层出不穷,文中将针对近年来的网络表示学习方法进行系统性的介绍和总结。     

基于邻节点和关系模型优化的网络表示学习

网络表示学习旨在于将网络的拓扑结构、节点内容和其他信息嵌入到低维度的向量空间中,从而为网络数据挖掘、链路预测和推荐系统提供一种有效的工具.然而,现有的基于神经网络的表示学习算法即忽略了上下文节点的位置信息,又忽略了节点与文本之间的语义关联.因此,基于以上2点,提出了一种新颖的基于邻节点和关系模型优化的网络表示学习算法(network representation learning algorithm using the optimizations of neighboring vertices and relation model, NRNR).首先,该算法首次采用当前节点的邻居节点优化网络表示学习模型,使得上下文窗口中节点的位置信息被嵌入到网络表示中;其次,该算法首次引入知识表示学习中的关系模型建模节点之间的结构特征,使得节点之间的文本内容以关系约束的形式嵌入到网络表示中;再次,NRNR提出了一种可行且有效的网络表示联合学习框架,将上述2种目标融入到一个统一的优化目标函数中.实验结果表明：NRNR算法在网络节点分类任务中优于各类对比算法,在网络可视化中,NRNR算法学习得到的网络表示展现出了明显的聚类边界.     

网络表示学习的研究与发展

网络表示学习旨在将网络中的节点表示成低维稠密且具有一定推理能力的向量,以运用于节点分类、社区发现和链路预测等社交网络应用任务中,是连接网络原始数据和网络应用任务的桥梁。传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,网络表示学习的研究方法随着网络数据的复杂化而不断变化。对近年来针对不同网络的网络表示学习方法进行了分类介绍,并阐述了网络表示学习的应用场景。     

基于自编码器的多视图属性网络表示学习模型

现有的大多数网络表示学习方法很难兼顾网络中丰富的结构信息和属性信息,导致其后续任务,如分类、聚类等的效果不佳。针对此问题,提出一种基于自编码器的多视图属性网络表示学习模型（AE-MVANR）。首先,将网络的拓扑结构信息转化为拓扑结构视图（TSV）,通过计算节点间相同属性共现频率来构造属性结构视图（ASV）;然后,在两个视图上分别利用随机游走算法得到若干节点序列;最后,经过自编码器训练得到的序列,从而得到融合了结构信息和属性信息的节点表示向量。在几个真实数据集上进行了分类、聚类任务的大量实验,结果表明,所提AE-MVANR优于常用的仅基于网络结构的和同时基于网络结构信息及节点属性信息的网络表示学习方法,具体来说该模型的分类准确率最高提升43.75%,而其聚类结果的标准化互信息（NMI）和轮廓系数（Silhouette Coefficient）指标最高增幅分别为137.95%和1 314.63%,戴维森堡丁指数（DBI）最大降幅达45.99%。     

基于图卷积集成的网络表示学习

针对现有网络表示学习方法泛化能力较弱等问题,提出了将stacking集成思想应用于网络表示学习的方法,旨在提升网络表示性能。首先,将3个经典的浅层网络表示学习方法DeepWalk、Node2Vec、Line作为并列的初级学习器,训练得到三部分的节点嵌入拼接后作为新数据集;然后,选择图卷积网络(graph convolutional network, GCN)作为次级学习器对新数据集和网络结构进行stacking集成得到最终的节点嵌入,GCN处理半监督分类问题有很好的效果,因为网络表示学习具有无监督性,所以利用网络的一阶邻近性设计损失函数;最后,设计评价指标分别评价初级学习器和集成后的节点嵌入。实验表明,选用GCN集成的效果良好,各评价指标平均提升了1.47~2.97倍。     

基于节点-属性二部图的网络表示学习模型

在图结构数据上开展推理计算是一项重大的任务,该任务的主要挑战是如何表示图结构知识使机器可以快速理解并利用图数据。对比现有表示学习模型发现,基于随机游走方法的表示学习模型容易忽略属性对节点关联关系的特殊作用,因此提出一种基于节点邻接关系与属性关联关系的混合随机游走方法。首先通过邻接节点间的共同属性分布计算属性权重,并获取节点到每个属性的采样概率;然后分别从邻接节点与含有共有属性的非邻接节点中提取网络信息;最后构建基于节点-属性二部图的网络表示学习模型,并通过上述采样序列学习得到节点向量表达。在Flickr、BlogCatalog、Cora公开数据集上,用所提模型得到的节点向量表达进行节点分类的Micro-F1平均准确率为89.38%,比GraphRNA（Graph Recurrent Networks with Attributed random walks）高出了2.02个百分点,比经典工作DeepWalk高出了21.12个百分点;同时,对比不同随机游走方法发现,提高对节点关联有促进作用的属性的采样概率可以增加采样序列所含信息。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于网络表示学习的miRNA功能相似性研究

miRNA是一类重要的非编码小RNA分子,与癌症等疾病有密切的关系。目前研究者已经识别大量miRNA,但是多数miRNA的功能仍然未知。为此,提出一种网络表示学习的miRNA功能相似性计算方法。通过miRNA的相关数据集如目标基因和关联疾病可以有效地计算miRNA的功能相似性,从而预测疾病相关的候选miRNA。利用不同类型生物数据集构建miRNA相关多源网络,采用网络表示学习的方式为网络中的每一个miRNA节点学习一个特征向量,进而使用特征向量来衡量miRNA的相似性。实验结果表明,与DeepWalk方法相比,该方法在同一家族的miRNA中能够取得较高的得分,并且可以在已有的数据库中找到疾病候选miRNA验证记录。     

结构增强的属性网络表示学习

属性网络表示学习旨在结合结构信息与属性信息为网络中的节点学习统一的向量表示。现有的属性网络表示学习方法在学习属性信息时与其互补的结构信息增强不足,从而影响最终表示。针对这一问题,提出一种结构增强的属性网络表示学习方法,以提高表示质量。该方法基于网络归一化邻接矩阵和属性矩阵通过自动编码器提取增强网络全局结构特性的属性信息,使用skip-gram模型捕捉局部结构信息,引入一个联合损失函数使结构信息与属性信息在同一向量空间中得以表示。在三个真实属性网络数据上进行节点分类和链路预测实验,效果较目前流行的网络表示学习方法优势明显。     

图嵌入算法的分布式优化与实现

随着人工智能时代的到来,图嵌入技术被越来越多地用来挖掘图中的信息.然而,现实生活中的图通常很大,因此,分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;(2)现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低.针对以上两个挑战,首先提...     

基于图卷积神经网络的网络节点补全算法

网状数据结构通常获取的网络数据不完整,存在缺失节点.对此,文中提出基于图卷积神经网络的网络节点补全算法.首先对可观测网络进行成对采样,构造目标节点对的封闭子图和特征矩阵.然后利用图卷积神经网络提取子图及特征矩阵的表征向量,用于推断子图中的目标节点对之间是否存在缺失节点,同时判断不同目标节点对间的缺失节点是否为同一节点.最后,在真实网络数据集及人工生成的网络数据集上的实验表明,文中算法可较好解决网络补全问题,在缺失节点比例较大时仍能有效补全网络.     

基于多视角知识图谱嵌入的量刑预测

量刑预测是智慧司法建设的重要组成部分.为了解决量刑预测的可解释性问题,文中将量刑预测任务重新定义为基于知识图谱的链路预测任务,提出多视角的知识图谱嵌入方法,预测案件量刑.首先,文中设计知识图谱本体模式,用于指导案情描述中关键要素的提取.然后,使用图嵌入技术,从案件要素构成的辅助图中学习要素的初始表示.最后,融合知识图谱...     

融合文本概念化与网络表示的观点检索

观点检索是自然语言处理领域中的一个热点研究课题.现有的观点检索模型在检索过程中往往无法根据上下文将词汇进行知识、概念层面的抽象,在语义层面忽略词汇之间的语义联系,观点层面缺乏观点泛化能力.因此,提出一种融合文本概念化与网络表示的观点检索方法.该方法首先利用知识图谱分别将用户查询和文本概念化到正确的概念空间,并利用网络表示将知识图谱中的词汇节点表示成低维向量,然后根据词向量推出查询和文本的向量并用余弦公式计算用户查询与文本的相关度,接着引入基于统计机器学习的分类方法挖掘文本的观点.最后利用概念空间、网络表示空间以及观点分析结果构建特征,并服务于观点检索模型,相关实验表明,本文提出的检索模型可以有效提高多种检索模型的观点检索性能.其中,基于统一相关模型的观点检索方法在两个实验数据集上相比基准方法在MAP评价指标上分别提升了6.1%和9.3%,基于排序学习的观点检索方法在两个实验数据集上相比于基准方法在MAP评价指标上分别提升了2.3%和14.6%.     

基于图神经网络的切片级漏洞检测及解释方法

随着软件的复杂程度越来越高,对漏洞检测的研究需求也日益增大.软件漏洞的迅速发现和修补可以将漏洞带来的损失降到最低.基于深度学习的漏洞检测方法作为目前新兴的检测手段,可以从漏洞代码中自动学习其隐含的漏洞模式,节省了大量人力投入.但基于深度学习的漏洞检测方法尚未完善,其中函数级别的检测方法存在检测粒度较粗且检测准确率较低的问题,切片级别的检测方法虽然能够有效减少样本噪声,但是仍存在以下两个方面的问题.一方面现有方法大多采用人工漏洞数据集进行实验,因此其在真实环境中的漏洞检测能力仍然存疑;另一方面,相关工作仅致力于检测出切片样本是否存在漏洞,而缺乏对检测结果可解释性的考虑.针对上述问题,本文提出了基于图神经网络的切片级漏洞检测及解释方法.该方法首先对C/C++源代码进行规范化并提取切片,以减少样本冗余信息干扰;其次采用图神经网络模型进行切片嵌入得到其向量表征,以保留源代码的结构信息和漏洞特征;然后将切片的向量表征输入漏洞检测模型进行训练和预测;最后将训练完成的漏洞检测模型和待解释的漏洞切片输入漏洞解释器得到具体的漏洞代码行.实验结果显示,在漏洞检测方面,该方法对于真实漏洞数据的检测F1分数达到75.1%,相较于对比方法提升了41.2%-110.4%.在漏洞解释方面,该方法在限定前10%的关键节点时准确率可以达到73.6%,相较于两种对比解释器分别提升8.9%和24.9%,且时间开销分别缩短42.5%和15.4%.最后,该方法正确检测并解释了4个开源软件中59个真实漏洞,证明了其在现实世界漏洞发掘方面的实用性.     

基于图嵌入和GRU的兴趣点推荐模型

下一个兴趣点推荐是基于位置的社交网络(Location-Based Social Network,LBSN)的重要服务之一,其不仅可以帮助用户寻找其感兴趣的目的 地,还能帮助商家提高潜在的收入.目前已有算法提出采用用户行为序列信息以及兴趣点信息进行推荐,但其没有很好地利用兴趣点辅助信息,因此无法缓解冷启动与数据稀疏问题.本文提出了一种基于图嵌入与GRU (Gated Recurrent Unit)的兴趣点推荐模型GE-GRU (Graph Embedding-Gated Recurrent Unit).GE-GR首先通过图嵌入的方法,将兴趣点本身与其辅助信息相融合,得到信息丰富的深层次兴趣点向量,再将其输入到神经网络中,利用GRU对用户近期兴趣偏好进行建模得到用户Embedding表示,最后根据兴趣点排序列表进行下一个兴趣点推荐.本文在一个真实的数据集Foursquare中超过48万条签到记录上进行了实验,采用Accuracy@k指标进行评估,实验结果表明,GE-GRU相比于GRU、LSTM (Long Short-Term Memory)在Accuracy@10上分别有3％和7％的提升.     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于结构深度网络嵌入模型的节点标签分类算法

在海量数据呈现爆炸增长态势的互联网时代,传统算法已无法满足处理大规模、多类型数据的需求.近年来最新的图嵌入算法通过学习图网络特征,在链路预测、网络重构和节点分类实践中普遍取得了极佳的效果.文中基于传统自动编码器模型,创新地提出了一种融合Sdne算法与链路预测相似度矩阵的新算法,通过在反向传播过程中引入高阶损失函数,依据...     

杂波环境下网络波动信号采样模型

杂波环境为可对信号产生随机干扰的环境.对上述环境下的网络信号进行采样,可以有效监测网络环境,防范网络入侵和拥堵.由于在杂波环境下的网络信号具有扩展衍射特征,使得正常网络信号存在较大波动性.传统方法进行网络信号采集过程中,在网络信号存在波动的情况下,采样时频重叠调制进行采集,未能纳入杂波先验信息,波动序列的扩展衍射特征形成欠定采样,造成信号采集效果不好.提出基于自适应空间域窗口采集算法的网络波动信号采样模型.将谐波小波核函数和支持向量机理论相结合,获取样本回归模型,得到该模型的约束条件,并对上述回归模型求取最优解,得到网络波动信号采样结果.实验结果表明,利用改进算法进行网络波动信号采样,能够极大的提高采样的准确性和实时性,满足网络波动信号的采集要求.     

基于投票人影响因子的投票预测模型

投票预测是计算政治学的应用之一,目前绝大多数预测模型都忽视投票过程中投票人之间的相互影响.针对此问题,文中提出基于投票人影响因子的投票预测模型.首先,提出投票人影响因子,用于刻画某位投票人在投票过程中对于其他投票人投票选择的影响,同时结合预训练模型提取的投票人特征,形成影响因子图,再输入图卷积神经网络中,学习投票人的相互影响,在一定程度上模拟真实的投票博弈过程.然后,考虑到法案文本中上下文信息的关联性,利用BiLSTM(Bi-directional Long Short-Term Memory)获得法案特征向量.鉴于法案文本的规范性导致的行文近似、用词重复,使用引入TF-IDF(Term-Frequency-Inverse Document Frequency)因子的TextRank,得到法案的关键词.在国外议会网站数据集上的实验表明文中模型性能较优,消融实验也验证每个模块对文中模型的性能均有一定程度的提升.