融合多层次结构信息的深度属性二分网络表示学习

网络表示学习旨在将网络中的节点转换到低维向量空间,并保持网络固有属性.现有方法大多针对普通网络,忽略了属性二分网络的特殊性及网络的高度非线性特性等.针对上述问题,首先引入一个扩展权重矩阵融合二分网络显式和携带属性信息的隐式结构;接着提出一种基于深度自编码器的属性二分网络表示学习模型,以捕捉网络的高度非线性特性;通过深度自编码器重构二阶邻近度以保持全局网络结构,同时该编码器利用节点一阶邻近度作为监督信息来保持局部网络结构;最后进行联合优化.将该模型在Yelp、Douban Book、Dou-ban Movie和MovieLens四个数据集上进行推荐任务,结果显示该模型的F1@10、MAP@10、MRR@10和NDGG@10指标在四个数据集上的平均值相较最新基准方法(ABNE)分别提高4.29％、5.63％、6.26％、4.21％.     

结合属性信息的二分网络表示学习

现有的网络表示学习算法主要是针对同质网络或异质网络设计的,而忽略了在推荐系统、搜索引擎和问答系统等领域出现的二分网络的特殊特征以及这类网络所携带着的非常丰富的属性信息.为了解决上述问题,提出了一种结合属性信息的二分网络表示学习方法(ABNE).该方法首先将连边分解成邻居节点间的间接关系集,嵌入显式关系,接着通过余弦相似...     

结构增强的属性网络表示学习

属性网络表示学习旨在结合结构信息与属性信息为网络中的节点学习统一的向量表示。现有的属性网络表示学习方法在学习属性信息时与其互补的结构信息增强不足,从而影响最终表示。针对这一问题,提出一种结构增强的属性网络表示学习方法,以提高表示质量。该方法基于网络归一化邻接矩阵和属性矩阵通过自动编码器提取增强网络全局结构特性的属性信息,使用skip-gram模型捕捉局部结构信息,引入一个联合损失函数使结构信息与属性信息在同一向量空间中得以表示。在三个真实属性网络数据上进行节点分类和链路预测实验,效果较目前流行的网络表示学习方法优势明显。     

融合模体图神经网络和自编码器的链路预测

链路预测是网络数据挖掘的一项基本任务,已有很多相关的研究成果。由于图神经网络研究的深入发展,使得相关的模型可以更加有效学习网络的重要特征,在链路预测等任务中取得了很好的预测效果。然而,不同于深度学习中CNN模型,已有的图神经网络模型中仅聚合了节点的一阶邻居信息,未充分考虑邻居节点之间的拓扑结构特性。在此基础上,提出了基于模体的图神经网络链路预测模型。该模型采用自编码器结构,在编码过程中,通过模体构建节点的邻接矩阵,进而得到节点的模体邻域,依照每一类模体的邻域聚合邻居信息,通过非线性变换得到节点的表示,最后拼接每一类模体下节点的表示。然而由于不同的模体结构在网络中重要度有所不同,利用注意力网络给出表达不同模体的注意力权重,连接注意力网络给出节点的向量表示。在解码过程中,通过计算节点间的相似性重构网络。在几个引文合作者网络上的实验结果表明,该方法在两个指标上优于大多数基准算法,有效地提高了网络链路预测的准确度。     

采用二分网络表示学习的教学交互评价方法

随着“互联网+教育”的结合与发展,在线教学成为当前的重要教学模式。研究表明,在线教学中的交互为学习者提供了有效的帮助和支持,而得到对交互的评价反馈是实现高质量在线学习的关键。在线教学中的学习者与学习资源的交互构成了一个二分交互网络,而网络表示学习技术则是对网络建模和预测的强有力工具。基于上述分析,提出基于二分交互网络表示学习的评价方法（EABINRL）,该方法旨在结合二分交互网络的拓扑结构信息与节点之间的交互信息,通过对显式的交互行为和隐式的交互行为两部分进行建模以学习两种类型节点的低维向量表示,其中针对不同的交互类型采用了不同的权重。而后进一步优化模型流程,最终得到基于F-范数计算的交互评价结果。在真实公开的数据集上进行的学习者状态预测实验的结果证明了该方法的有效性。     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

基于AFP的有向加权注意力流网络链路预测

个性化推荐系统在减轻信息超载、提供个性化服务和辅助用户决策等方面应用广泛,链路预测是个性化推荐的重要方法之一。传统启发式链路预测方法仅考虑网络的图结构特征,缺乏对显式特征和隐式特征信息的应用,且大多数方法基于无向无权网络。针对传统链路预测方法存在的不足,基于集体注意力流网络和R-GCN方法,提出了链路预测算法AFP,将注意力流网络中2节点间不同的边方向抽象为2种边关系类型,并引入注意力机制学习网络中的节点属性和边属性,还综合考虑了网络的图结构特征、显式特征和隐式特征,最后通过评分函数得到三元组成立与否的概率,将链路预测问题转化为一个二分类问题,预测节点间的边属于某个关系类型的可能性。实验结果表明,相比于GCN、GAT等6个基准算法,该算法在准确度、精度和召回率等多个评价指标上均有提升。     

基于节点-属性二部图的网络表示学习模型

在图结构数据上开展推理计算是一项重大的任务,该任务的主要挑战是如何表示图结构知识使机器可以快速理解并利用图数据。对比现有表示学习模型发现,基于随机游走方法的表示学习模型容易忽略属性对节点关联关系的特殊作用,因此提出一种基于节点邻接关系与属性关联关系的混合随机游走方法。首先通过邻接节点间的共同属性分布计算属性权重,并获取节点到每个属性的采样概率;然后分别从邻接节点与含有共有属性的非邻接节点中提取网络信息;最后构建基于节点-属性二部图的网络表示学习模型,并通过上述采样序列学习得到节点向量表达。在Flickr、BlogCatalog、Cora公开数据集上,用所提模型得到的节点向量表达进行节点分类的Micro-F1平均准确率为89.38%,比GraphRNA（Graph Recurrent Networks with Attributed random walks）高出了2.02个百分点,比经典工作DeepWalk高出了21.12个百分点;同时,对比不同随机游走方法发现,提高对节点关联有促进作用的属性的采样概率可以增加采样序列所含信息。     

基于多头注意力机制的半监督卷积网络嵌入

网络嵌入旨在综合利用网络特性来学习节点的低维向量.然而,传统的网络嵌入方法不能全面考虑外部信息,通常只关注一种属性而忽略其他属性,或者分别学习不同属性的表示.对此提出一种基于多头注意力机制的半监督卷积网络嵌入模型(SMAC).利用近年来在自然语言处理中广泛应用的多头注意机制与多层图卷积神经网络,将外部信息与结构信息以半监督的方式结合起来,在一个统一的框架中联合优化.通过在真实数据上的对比实验,验证了该模型能够获得较好的节点向量表示,具有优于对比算法的性能.     

基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

融合重叠社区正则化及隐式反馈的协同过滤方法

针对目前推荐系统存在的数据稀疏和冷启动等问题,提出了一种融合重叠社区正则化及隐式反馈的协同过滤方法(OCRIF),该方法不仅考虑了用户在社交网络中的社区结构,而且将用户评分信息与社交信息的隐式反馈融入推荐模型之中.此外,由于网络表示学习可以有效学习节点在社交网络的全局结构上的近邻信息,提出了一种网络表示学习增强的OCR...     

一种融合伴随信息的网络表示学习模型

网络表示学习被认为是提高信息网络分析效率的关键技术之一,旨在将网络中每个节点映射为低维隐空间中的向量表示,并使这些向量高效的保持原网络的结构和特性.近年来,大量研究致力于网络拓扑和节点属性的深度挖掘,并在一些网络分析任务中取得了良好应用效果.事实上,在这两类关键信息之外,真实网络中广泛存在的伴随信息,反映了网络中复杂微妙的各种关系,对网络的形成和演化起着重要作用.为提高网络表示学习的有效性,提出了一种能够融合伴随信息的网络表示学习模型NRLIAI.该模型以变分自编码器（VAE）作为信息传播和处理的框架,在编码器中利用图卷积算子进行网络拓扑和节点属性的聚合与映射,在解码器中完成网络的重构,并融合伴随信息对网络表示学习过程进行指导.该模型克服了现有方法无法有效利用伴随信息的缺点,同时具有一定的生成能力,能减轻表示学习过程中的过拟合问题.在真实网络数据集上,通过节点分类和链路预测任务对NRLIAI模型与几种现有方法进行了对比实验,实验结果验证了该模型的有效性.     

基于全局注意力机制的属性网络表示学习

属性网络不仅具有复杂的拓扑结构,其节点还包含丰富的属性信息.属性网络表示学习方法同时提取网络拓扑结构和节点的属性信息来学习大型属性网络的低维向量表示,在节点分类、链路预测和社区识别等网络分析技术方面具有非常重要和广泛的应用.文中首先根据属性网络的拓扑结构得到网络的结构嵌入向量;接着通过全局注意力机制来学习相邻节点的属性信息,先用卷积神经网络对节点的属性信息作卷积操作得到隐藏向量,再对卷积的隐藏向量生成全局注意力的权重向量和相关性矩阵,进而得到节点的属性嵌入向量;最后将结构嵌入向量和属性嵌入向量连接得到同时反映网络结构和节点属性的联合嵌入向量.在3个真实数据集上,将提出的新算法与当前的8种知名网络表示学习模型在链路预测和节点分类等任务上进行比较,实验结果表明新算法具有良好的属性网络表示效果.     

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。     

基于超图卷积的异质网络半监督节点分类

近几年,图神经网络(Graph Neural Network)由于能够较好地提取网络结构信息以获得网络表示,逐渐成为网络节点分类的主流算法.然而,与广泛研究的同质信息网络相比,真实世界中网络往往是由不同类型的对象通过复杂关系相互连接所构成的异质信息网络.异质信息网络包含复杂的结构信息和丰富的语义信息,这也给网络节点分类提供了新的机遇与挑战.在异质信息网络中,网络模体(Motif)能够用于理解和探索复杂网络,其既能描述复杂的语义信息,又能保存网络中高阶近邻结构信息.因此,提出基于网络模体的异质超图卷积网络模型MHGCN(Motif-based HyperGraph Convolutional Network).首先,将重复出现的高阶网络模体建模为多个相关节点所构成的超边(hyperedge),进而将整个异质信息网络转换成由不同超边构成的超图,以克服同质网络中只能描述节点之间(pair-wise)关系的缺点;然后,利用超图的基本性质和谱理论设计超图上的卷积操作,同时引入超边自注意力机制聚合超图内部不同类型的节点,并通过在超图网络中加入自环解决在模型的前向传播过程中对异质信息网络覆盖不足的问题;最后,通过注意力机制对于不同语义的超图表示进行聚合,从而使最终的节点表示可以有效保持高阶近邻关系和复杂的语义信息.由于MHGCN是端到端的,最终模型直接学习得到节点的分类标签,并通过半监督节点分类任务进行验证,与其它方法相比,MHGCN在DBLP-P、DBLP-A数据集上比最好的基准方法micro-F1提高了0.56％～3.51％,macro-F1提高了0.54％～4.37％,验证了MHGCN模型的有效性.     

一种基于层级信息优化的有向网络表示学习方法

网络表示方法旨在将每个节点映射到低维向量空间,并保留节点在网络中的结构关系。有向网络的环中节点相互可达,破坏了非对称传递性,影响了模型对网络整体结构信息的学习。为削弱有向网络的环在表示学习中的影响,增强模型对全局结构信息的感知,文中提出了一种针对有向网络表示学习的优化方法。该方法借助TrueSkill方法获取节点的层级信息,将该信息转化为边权重并引入表示学习过程。文中将此方法应用到已有的多种有向网络表示学习方法中,多个有向网络数据集上的链接预测和节点分类任务的实验结果表明,所提方法的性能相比原有方法得到了明显提升。     

基于动态投影嵌入的多维异质网络可视化研究

异质网络是包含多种类型节点和边的复杂信息网络,因此异质网络的可视化通常涉及异质信息的有效处理与可视技术,传统的网络可视化技术对于异质网络可视化来说布局效果混乱、异质信息难以体现。为此提出一种基于动态投影嵌入的多维度异质网络可视化方法。该方法从异质网络的表示学习方法入手,提出动态投影嵌入模型来学习异质网络的节点表示,在此基础上,提出了多维度（空间）的可视化方法,将异质网络节点根据不同属性映射至不同关系空间中进行可视化分析,从而挖掘出潜在的语义信息。实验结果表明,提出的方法不仅使异质网络表示学习的评价指标（MRR）提升了10%,而且从多维度（空间）对异质网络进行可视化,有效地展示和挖掘了网络中的异质信息与潜在语义信息。     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于双向注意力机制和门控图卷积网络的文本分类方法

现有基于图卷积网络的文本分类模型通常只是通过邻接矩阵简单地融合不同阶的邻域信息来更新节点表示,导致节点的词义信息表达不够充分。此外,基于常规注意力机制的模型只是对单词向量进行正向加权表示,忽略了产生消极作用的单词对最终分类的影响。为了解决上述问题,文中提出了一种基于双向注意力机制和门控图卷积网络的模型。该模型首先利用门控图卷积网络有选择地融合图中节点的多阶邻域信息,保留了之前阶的信息,以此丰富节点的特征表示;其次通过双向注意力机制学习不同单词对分类结果的影响,在给予对分类起积极作用的单词正向权重的同时,对产生消极作用的单词给予负向权重以削弱其在向量表示中的影响,从而提升模型对文档中不同性质节点的甄别能力;最后通过最大池化和平均池化融合单词的向量表示,得到文档表示用于最终分类。在4个基准数据集上进行了实验,结果表明,该方法明显优于基线模型。     

基于自编码器的多视图属性网络表示学习模型

现有的大多数网络表示学习方法很难兼顾网络中丰富的结构信息和属性信息,导致其后续任务,如分类、聚类等的效果不佳。针对此问题,提出一种基于自编码器的多视图属性网络表示学习模型（AE-MVANR）。首先,将网络的拓扑结构信息转化为拓扑结构视图（TSV）,通过计算节点间相同属性共现频率来构造属性结构视图（ASV）;然后,在两个视图上分别利用随机游走算法得到若干节点序列;最后,经过自编码器训练得到的序列,从而得到融合了结构信息和属性信息的节点表示向量。在几个真实数据集上进行了分类、聚类任务的大量实验,结果表明,所提AE-MVANR优于常用的仅基于网络结构的和同时基于网络结构信息及节点属性信息的网络表示学习方法,具体来说该模型的分类准确率最高提升43.75%,而其聚类结果的标准化互信息（NMI）和轮廓系数（Silhouette Coefficient）指标最高增幅分别为137.95%和1 314.63%,戴维森堡丁指数（DBI）最大降幅达45.99%。