基于多头注意力机制的半监督卷积网络嵌入

网络嵌入旨在综合利用网络特性来学习节点的低维向量.然而,传统的网络嵌入方法不能全面考虑外部信息,通常只关注一种属性而忽略其他属性,或者分别学习不同属性的表示.对此提出一种基于多头注意力机制的半监督卷积网络嵌入模型(SMAC).利用近年来在自然语言处理中广泛应用的多头注意机制与多层图卷积神经网络,将外部信息与结构信息以半监督的方式结合起来,在一个统一的框架中联合优化.通过在真实数据上的对比实验,验证了该模型能够获得较好的节点向量表示,具有优于对比算法的性能.     

基于图神经网络的工控网络异常检测算法

网络异常检测技术成为入侵检测领域的重点研究内容, 但由于目前网络异常检测大多都停留在单点网络异常检测, 对不断更新的联合异常攻击和恶意软件无法做出快速及时的相应. 本文提出了一种基于图神经网络的工控网络异常检测算法, 融合网络节点自身属性以及网络拓扑结构中邻域节点的信息实现对网络异常的检测. 首先, 每个网络节点获取蕴含了连接节点的特征信息以及节点之间交互信息的状态向量; 其次, 每个节点使用不动点理论对网络进行迭代更新; 最后, 根据节点自身信息以及邻域节点信息通过神经网络提取更高层次的特征作为该节点的表示, 最后用聚类进行工控网络节点异常行为检测. 实验结果表明, 本文提出算法在具有较高检测率的同时, 也具有较高的鲁棒性.     

基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注.现有图神经网络方法主要建模静态同质图数据，然而现实世界复杂系统往往包含多类型动态演化的实体及关系，此类复杂系统更适合建模为动态异质图.目前，动态异质图表示学习方法主要集中于半监督学习范式，其存在监督信息昂贵和泛化性较差等问题.针对以上问题，提出了一种基于对比学习的全局增强动态异质图神经网络.具体地，所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示，然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息.实验结果表明，提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.     

基于深度学习的属性图异常检测综述

异常检测一直以来都是数据挖掘领域的研究热点之一,其任务是在海量数据中识别罕见的观测对象。随着图数据挖掘的发展,属性图异常检测在各个领域广受关注。然而,属性图因其复杂的拓扑结构和丰富的属性信息成为异常检测一大难点。深度学习方法在捕捉属性图复杂的信息中展现出优越性能,已被证实是解决属性图异常检测问题非常有效的方法。对普通图异常检测和属性图异常检测以及表示学习相关方法进行简要概述;其次从静态属性图和动态属性图两方面对最新深度学习异常检测方法进行介绍与分类;对常见数据集上的实验结果进行了对比、分析;对属性图异常检测的应用场景、存在的问题以及面临的挑战进行讨论,展望了未来的研究方向。     

基于边采样的网络表示学习模型

近年来,以微博、微信、Facebook为代表的社交网络不断发展,网络表示学习引起了学术界和工业界的广泛关注。传统的网络表示学习模型利用图矩阵表示的谱特性,由于其效率低下、效果不佳,难以应用到真实网络中。近几年,基于神经网络的表示学习方法因算法效率高、能较好保存网络结构信息,逐渐成为网络表示学习的主流算法。网络中的节点因为不同类型的关系而相互连接,这些关系里隐藏了非常丰富的信息（如兴趣、家人）,但所有现存方法都没有区分节点之间边的关系类型。本文提出一个能够编码这种关系信息的无监督网络表示学习模型NEES,首先通过边采样得到能够反映边关系类型信息的边向量,其次利用边向量为图中每个节点学习到一个低维表示。我们分别在几个真实网络数据上进行了多标签分类、边预测等任务,实验结果表明NEES方法能取得超过现存最好算法的优异效果,且其是可规模化的,可以很好地应用于大型网络的表示与计算。     

融合知识的多视图属性网络异常检测模型

属性网络异常检测在网络安全、电子商务和金融交易等领域中具有重要的理论与现实意义,近年来受到了越来越多的关注.大多数异常检测方法凭借网络有限的属性或结构信息进行决策生成,往往难以对异常模式做出可靠的描述.此外,网络节点对应的实体往往关联着丰富的领域知识,这些知识对于异常的识别具有重要的潜在价值.针对上述情况,提出一种融合知识的多视图网络异常检测模型,在多视图学习模式下通过数据与知识的互补融合实现了对异常节点的有效识别.首先,使用TransR模型由领域知识图谱抽取知识向量表示,并借助输入网络的拓扑关系构造其孪生网络.接着,在多视图学习框架下构建属性编码器和知识编码器,分别将属性网络及其孪生网络嵌入到各自的表示空间,并聚合为统一网络表示.最后,综合不同维度上的重构误差进行节点异常分数评价,从而识别网络中的异常节点.在真实网络数据集上的对比实验表明,提出的模型能够实现对领域知识的有效融合,并获得优于基线方法的异常检测性能.     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

基于SPC的储罐液位异常检测算法

油田中井场储罐液位的变化与油井的生产状况、运输过程以及现场管理等方面密切相关。实时检测油罐液位的异常变化,对安全生产管理非常重要。采用基于SPC(Statistical Process Control)的固定时间域可变采样间隔VSIFT(Variable Sampling Interval at Fixed Times)控制图以及自适应采样间隔统计控制图的液位数据异常检测方法可以提高异常检测效率。VSIFT控制图通过设置预警线调整采样间隔,自适应采样间隔统计控制图通过计算β风险的概率进行动态采样。实验结果表明,相比SPC的固定采样间隔统计控制图以及传统的时序数据异常检测,该方法能够结合实际情况充分分析当前状态的数据与历史数据的关系,探索出数据的动态变化规律,准确检测仅有少量异常点的数据异常,高效检测实时数据异常。该方法能提高异常检测的效率与准确率。     

基于深度学习的图异常检测技术综述

图异常检测旨在大图或海量图数据库中寻找"陌生"或"不寻常"模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能.近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注.尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注.首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.     

子图相似性的恶意程序检测方法

动态行为分析是一种常见的恶意程序分析方法,常用图来表示恶意程序系统调用或资源依赖等,通过图挖掘算法找出已知恶意程序样本中公共的恶意特征子图,并通过这些特征子图对恶意程序进行检测.然而这些方法往往依赖于图匹配算法,且图匹配不可避免计算慢,同时,算法中还忽视了子图之间的关系,而考虑子图间的关系有助于提高模型检测效果.为了解决这两个问题,提出了一种基于子图相似性恶意程序检测方法,即DMBSS.该方法使用数据流图来表示恶意程序运行时的系统行为或事件,再从数据流图中提取出恶意行为特征子图,并使用“逆拓扑标识”算法将特征子图表示成字符串,字符串蕴含了子图的结构信息,使用字符串替代图的匹配.然后,通过神经网络来计算子图间的相似性即将子图结构表示成高维向量,使得相似子图在向量空间的距离也较近.最后,使用子图向量构建恶意程序的相似性函数,并在此基础上,结合SVM分类器对恶意程序进行检测.实验结果显示,与其他方法相比,DMBSS在检测恶意程序时速度较快,且准确率较高.     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的图信息进行完全探索。最后,总结了图卷积神经网络层级信息挖掘模型的主要应用领域,并从计算效率、大规模数据、动态图和应用场景等方面提出进一步研究的方向。     

基于空间尺度粗粒化的异常检测方法

目前,大部分基于链路预测对社会网络进行异常检测的研究中,缺乏对异常节点演化影响的分析,且受社会网络规模以及复杂度的限制,检测效率普遍不高。针对上述问题,提出了一种基于空间尺度粗粒化和异常节点加权机制的异常检测方法。首先利用凝聚型社区发现算法Louvain对社会网络进行粗粒化得到简化网络,然后在简化网络的演化过程中识别有异常演化行为的节点,并将其异常演化过程量化,引入异常节点加权机制到链路预测方法中进行异常检测。在真实社会网络数据集VAST、Email-EU（dept1和dept2）以及Enron上,与基于LinkEvent的不同调整策略算法和NESO_ED方法进行对比。结果表明,该方法可以兼顾异常检测的稳定性和敏感性,能够更合理地描述网络演化过程,得到更好的异常检测效果。     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

基于图模块度聚类的异常检测算法

社会网络的数据规模在不断扩大,现存的异常检测算法对复杂社会网络进行检测的效果不理想,提出了一种基于图模块度聚类的异常检测算法(anomaly detection algorithm based on graph modularity clustering, GMC＿AD),该算法适用于解决受网络规模以及复杂度的限制导致检测效率不高的问题。GMC＿AD算法在分析网络拓扑结构的基础上,通过引入异常节点加权机制和模块度聚类算法进行异常检测。GMC＿AD算法主要在三个方面进行改进：a)设计网络中节点演化的量化策略,以此识别具有异常演化行为的节点来得到异常节点集合;b)通过模块度聚类的方法降低网络规模;c)在计算网络波动值的过程中使用加权机制合理考虑异常节点的影响,再通过网络波动值变化来检测异常。基于真实社会网络VAST、EU＿E-mail和ENRON进行对比实验,GMC＿AD算法准确地检测出异常发生的时段,实验结果显示在事件检测敏感性上提高了50%～82%,在异常检测运行效率上提高了30%～70%。实验结果表明,GMC＿AD算法不仅提高了异常检测算法的准确率和敏感性,还提高了异常检测算法的效率...     

遗传BP神经网络及其在异常检测中的应用

为了克服BP神经网络速度慢、易陷入局部最小的缺点,利用GA的全局搜索能力优化BP神经网络权值,本文提出了遗传BP神经网络算法,并将其用于异常检测之中。在对Kddcup,99攻击数据进行分析和特征约简的基础上,设定了遗传BP神经网络算法的参数。实验结果表明,基于遗传BP神经网络异常检测模型的建立快于BP神经网络算法。     

单时序特征图卷积网络融合预测方法

近年来,图神经网络逐渐成为深度学习领域广泛讨论的话题和研究的重点,但大多数研究都是基于图节点,在存在多维属性的前提下进行分类和回归预测,对单时序特征的图节点预测并不能产生理想的效果。本文提出一种时序图卷积网络算法,可以在复杂图网络中,只根据节点单一特征的时序序列,实现对该特征的预测。算法通过在传统图卷积网络中对邻接矩阵参数化,解决单一特征条件下的参数退化问题,并结合长短时记忆网络的序列学习方法,将时序信息融入到训练过程中,提高训练精度。在交通流量数据集PeMS和Los上的实验表明,其预测精度要优于GCN、T-GCN、GRU、LSTM等主流算法。     

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。     

Finding overlapping communities in a complex network of social linkages and Internet of things

Online social networks play an important role in today’s Internet. These social networks contain huge amounts of data and the integrated framework of SN with Internet of things (IoT) presents a challenging problem. IoT is the ubiquitous interconnection of everyday items of interest (things), providing connectivity anytime, anywhere, and with anything. Like biological, co-authorship, and virus-spread networks, IoT and Social Network (SN) can be characterized to be complex networks containing substantial useful information. In the past few years, community detection in graphs has been an active area of research (Lee and Won in Proceedings of IEEE SoutheastCon, pp. 1–5, 2012). Many graph mining algorithms have been proposed, but none of them can help in capturing an important dimension of SNs, which is friendship. A friend circle expands with the help of mutual friends, and, thus, mutual friends play an important role in social networks’ growth. We propose two graph clustering algorithms: one for undirected graphs such as Facebook and Google+, and the other for directed graphs such as Twitter. The algorithms extract communities, and based on the access control policy nodes share resources (things). In the proposed Community Detection in Integrated IoT and SN (CDIISN) algorithm, we divide the nodes/actors of complex networks into basic, and IoT nodes. We, then, execute the community detection algorithm on them. We take nodes of a graph as members of a SN, and edges depicting the relations between the nodes. The CDIISN algorithm is purely deterministic, and no fuzzy communities are formed. It is known that one community detection algorithm is not suitable for all types of networks. For different network structures, different algorithms exhibit different results, and methods of execution. However, in our proposed method, the community detection algorithm can be modified as desired by a user based on the network connections. The proposed community detection approach is unique in the sense that a user can define his community detection criteria based on the kind of network.