结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

基于全局注意力机制的属性网络表示学习

属性网络不仅具有复杂的拓扑结构,其节点还包含丰富的属性信息.属性网络表示学习方法同时提取网络拓扑结构和节点的属性信息来学习大型属性网络的低维向量表示,在节点分类、链路预测和社区识别等网络分析技术方面具有非常重要和广泛的应用.文中首先根据属性网络的拓扑结构得到网络的结构嵌入向量;接着通过全局注意力机制来学习相邻节点的属性信息,先用卷积神经网络对节点的属性信息作卷积操作得到隐藏向量,再对卷积的隐藏向量生成全局注意力的权重向量和相关性矩阵,进而得到节点的属性嵌入向量;最后将结构嵌入向量和属性嵌入向量连接得到同时反映网络结构和节点属性的联合嵌入向量.在3个真实数据集上,将提出的新算法与当前的8种知名网络表示学习模型在链路预测和节点分类等任务上进行比较,实验结果表明新算法具有良好的属性网络表示效果.     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

一种基于多尺度特征和改进采样策略的异构网络对齐方法

网络对齐是集成不同平台数据的重要途径。利用网络表示学习得到节点表征并建立节点匹配策略是当前异构网络对齐的主流技术之一。在这类研究中,网络表示模型和计算复杂性为两大关键问题。本文提出一种基于多尺度特征建模和优化采样策略的无监督网络对齐方法。首先,提出一种不同尺度的节点特征表示,提取节点特征;然后利用网络嵌入模型获得网络的初表征,在此基础上设计了一种基于节点重要性的采样策略选择地标节点,改进随机抽样策略;建立了基于地标节点的网络节点相似关系矩阵,引入低秩矩阵近似方法进行矩阵分解,得到节点表示;最后,根据节点表示的相似性对网络进行对齐。在3个数据集上的实验结果表明,本模型优于其他基线模型。     

一种基于节点嵌入表示学习的社区搜索算法

针对已有社区搜索算法采用高维稀疏向量表示节点时间复杂度高的问题,提出一种基于节点嵌入表示学习的社区搜索算法CSNERL.节点嵌入技术能够直接从网络结构中学习节点的低维实值向量表示,为社区搜索提供了新思路.首先,针对已有节点嵌入算法存在较高概率在最亲近邻居间来回游走的问题,提出基于最亲近邻居但不立即回访随机游走的节点嵌入模型NECRWNR,采用NECRWNR模型学习节点的特征向量表示;然后,采用社区内所有节点的向量均值作为社区的向量表示,通过选择与当前社区距离最近的节点加入社区的方法实现一种新的社区搜索算法.在真实网络和模拟网络数据集上分别与相关的社区搜索算法进行实验对比,结果表明所提出社区搜索算法CSNERL具有更高的准确性.     

基于社团多特征融合嵌入表示的时序链路预测方法

时序动态网络在静态网络基础上综合了时间属性的概念,包含了网络结构的复杂性、动态性等内涵,是研究复杂网络链路预测问题的较优思维对象,因在现实世界中具有较高应用价值而备受关注。目前大部分传统方法研究对象仍局限于静态网络,存在对网络时域演化信息利用不充分、时间复杂度较高等问题。结合社会学理论,提出一种基于社团多特征融合嵌入表示的时序链路预测方法,该方法的核心思想是通过分析网络动态演化特性,在社团范围内学习节点的嵌入表示向量,融合多特征以衡量节点间连边的生成概率。利用网络集体影响力的方法对节点和连边的权值进行计算,基于集体影响的连边权值进行社团划分,将网络划分为若干个社团子图,得到基于集体影响的相似性指标。在社团范围内,利用有偏的随机游走,结合梯度优化的Skip-gram方法获取所有节点的嵌入表示向量,得到基于社团范围游走的相似性指标。融合节点的集体影响、社团范围节点的多个中心性特征和学习到的节点表示向量,得到多特征融合的相似性指标,3 种新指标都可以用于衡量节点之间形成连边的概率。对比基于移动平均、嵌入表示、图神经网络等经典时序链路预测方法,在 6 个真实数据集上的实验结果表明,所提基于社团多特征融合的方法在 AUC评价标准下取得更优的预测性能。     

双通道图协同过滤推荐算法

协同过滤是一种应用广泛的推荐算法,其核心过程是学习用户和商品的向量表示。基于图卷积网络（GCN）的协同过滤算法在向量嵌入过程中加入邻居节点的关联信息,进一步提升了算法的推荐性能。然而,图协同过滤算法中存在过平滑现象,且其仅采用邻接矩阵在局部结构中扩展,没有从图的整体结构出发挖掘节点间潜在的交互模式,使得交互信息来源单一。提出一种基于GCN的双通道协同过滤推荐算法DCCF。将向量嵌入过程划分为局部卷积通道和全局卷积通道,以获取不同类型的连接信息。在局部卷积通道中,直接定位邻域节点并使用单层网络结构完成计算,优化信息的聚合方式以应对过平滑问题。在全局卷积通道中,通过聚类的方式构造全局交互图并参与信息的聚合过程,从而挖掘节点间的潜在联系。将局部信息与全局信息相结合,以获得包含不同类型高阶关系的节点向量表示。在3个公开数据集上进行对比实验,结果表明,相较基准算法中性能表现最优的模型,DCCF在归一化折损累计增益和召回率这2个指标上最高分别提升2.8%和5.0%。     

面向细粒度图像的数据关联代理损失

现有度量学习方法中基于元组的损失训练速度慢、基于代理的损失未考虑数据间细粒度的语义关系.针对这些问题,结合两者的优势提出了一种面向细粒度图像的数据关联代理损失(data relation proxy loss,DRPLoss)函数.采用具有批量归一化(BN)层的inception网络作为嵌入网络,在度量空间中利用梯度相互交互学习数据间的相关关系,并使用温度缩放调节DRPLoss对嵌入向量进行监督训练.在CUB-200-2011和Car-196数据集上验证了不同嵌入维度的DRPLoss的有效性,recall@1评价指标分别提升了2％和6.4％.实验结果表明,相比基于元组的损失和基于代理的损失,DRPLoss的训练速度更快,对细粒度图像检索的性能有显著性提高.     

基于多粒度结构的网络表示学习

图卷积网络（GCN）能够适应不同结构的图,但多数基于GCN的方法难以有效地捕获网络的高阶相似性。简单添加卷积层将导致输出特征过度平滑并使它们难以区分,而且深层神经网络更难训练。本文选择将网络的多粒度结构和图卷积网络结合起来用于学习网络的节点特征表示,提出基于多粒度结构的网络表示学习方法Multi-GS。首先,基于模块度聚类和粒计算思想,用分层递阶的多粒度空间替代原始的单层网络拓扑空间;然后,利用GCN模型学习不同粗细粒度空间中粒的表示;最后,由粗到细将不同粒的表示组合为原始空间中节点的表示。实验结果表明:Multi-GS能够捕获多种结构信息,包括一阶和二阶相似性、社团内相似性（高阶结构）和社团间相似性（全局结构）。在绝大多数情况下,使用多粒度的结构可改善节点分类任务的分类效果。     

网络表示学习的研究与发展

网络表示学习旨在将网络中的节点表示成低维稠密且具有一定推理能力的向量,以运用于节点分类、社区发现和链路预测等社交网络应用任务中,是连接网络原始数据和网络应用任务的桥梁。传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,网络表示学习的研究方法随着网络数据的复杂化而不断变化。对近年来针对不同网络的网络表示学习方法进行了分类介绍,并阐述了网络表示学习的应用场景。     

集成时空轨迹的动态属性网络表征学习

网络表征学习是当前信息网络数据表示的研究热点,相比于传统网络分析技术已显示出它的有效性和高效性.目前绝大多数研究仅将网络视为静态来处理,即网络结构不随时间演化而变化,而且很少考虑网络中丰富的节点属性信息,难以适应现实信息网络时刻变化的动态特性.同时考虑网络的动态性和节点属性,提出基于时空路径的动态属性网络表征学习(DAWalk),将结构特征与属性特征聚合为节点的嵌入表示.游走时空轨迹序列以捕获网络的结构特征以及动态演化趋势规律.在模型学习方面使用改进的自编码器模型,最小化序列中成对节点的距离损失,学习出序列节点对隐藏的高度非线性规律,使得学到的节点表示更具健壮性.实验表明,在可视化、链接预测、节点分类任务上,提出的DAWalk在3个数据集上的性能均优于其他基准算法.     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于自编码器的多视图属性网络表示学习模型

现有的大多数网络表示学习方法很难兼顾网络中丰富的结构信息和属性信息,导致其后续任务,如分类、聚类等的效果不佳。针对此问题,提出一种基于自编码器的多视图属性网络表示学习模型（AE-MVANR）。首先,将网络的拓扑结构信息转化为拓扑结构视图（TSV）,通过计算节点间相同属性共现频率来构造属性结构视图（ASV）;然后,在两个视图上分别利用随机游走算法得到若干节点序列;最后,经过自编码器训练得到的序列,从而得到融合了结构信息和属性信息的节点表示向量。在几个真实数据集上进行了分类、聚类任务的大量实验,结果表明,所提AE-MVANR优于常用的仅基于网络结构的和同时基于网络结构信息及节点属性信息的网络表示学习方法,具体来说该模型的分类准确率最高提升43.75%,而其聚类结果的标准化互信息（NMI）和轮廓系数（Silhouette Coefficient）指标最高增幅分别为137.95%和1 314.63%,戴维森堡丁指数（DBI）最大降幅达45.99%。     

基于节点-属性二部图的网络表示学习模型

在图结构数据上开展推理计算是一项重大的任务,该任务的主要挑战是如何表示图结构知识使机器可以快速理解并利用图数据。对比现有表示学习模型发现,基于随机游走方法的表示学习模型容易忽略属性对节点关联关系的特殊作用,因此提出一种基于节点邻接关系与属性关联关系的混合随机游走方法。首先通过邻接节点间的共同属性分布计算属性权重,并获取节点到每个属性的采样概率;然后分别从邻接节点与含有共有属性的非邻接节点中提取网络信息;最后构建基于节点-属性二部图的网络表示学习模型,并通过上述采样序列学习得到节点向量表达。在Flickr、BlogCatalog、Cora公开数据集上,用所提模型得到的节点向量表达进行节点分类的Micro-F1平均准确率为89.38%,比GraphRNA（Graph Recurrent Networks with Attributed random walks）高出了2.02个百分点,比经典工作DeepWalk高出了21.12个百分点;同时,对比不同随机游走方法发现,提高对节点关联有促进作用的属性的采样概率可以增加采样序列所含信息。     

Pre-Train and Learn:Preserving Global Information for Graph Neural Networks

Graph neural networks(GNNs) have shown great power in learning on graphs.However,it is still a challenge for GNNs to model information faraway from the source node.The ability to preserve global information can enhance graph representation and hence improve classification precision.In the paper,we propose a new learning framework named G-GNN(Global information for GNN) to address the challenge.First,the global structure and global attribute features of each node are obtained via unsupervised pre-training,and those global features preserve the global information associated with the node.Then,using the pre-trained global features and the raw attributes of the graph,a set of parallel kernel GNNs is used to learn different aspects from these heterogeneous features.Any general GNN can be used as a kernal and easily obtain the ability of preserving global information,without having to alter their own algorithms.Extensive experiments have shown that state-of-the-art models,e.g.,GCN,GAT,Graphsage and APPNP,can achieve improvement with G-GNN on three standard evaluation datasets.Specially,we establish new benchmark precision records on Cora(84.31％) and Pubmed(80.95％) when learning on attributed graphs.     

Text-enhanced network representation learning

Network representation learning called NRL for short aims at embedding various networks into lowdimensional continuous distributed vector spaces. Most existing representation learning methods focus on learning representations purely based on the network topology, i.e., the linkage relationships between network nodes, but the nodes in lots of networks may contain rich text features, which are beneficial to network analysis tasks, such as node classification, link prediction and so on. In this paper, we propose a novel network representation learning model, which is named as Text-Enhanced Network Representation Learning called TENR for short, by introducing text features of the nodes to learn more discriminative network representations, which come from joint learning of both the network topology and text features, and include common influencing factors of both parties. In the experiments, we evaluate our proposed method and other baseline methods on the task of node classification. The experimental results demonstrate that our method outperforms other baseline methods on three real-world datasets.