基于并行图计算框架大规模图最大流加速算法

最大流是一个重要的图计算问题,很多实际场景中如城市车流量和排水管道的排水量等问题若转化为最大流问题可以得到有效的解决.已有工作从多个角度对最大流问题进行了探讨,但仍存在一些问题.针对一些分布式图计算系统进行图分割计算复杂度较高,多次计算存在大量冗余工作等问题,提出基于GraphChi框架的大规模图最大流加速算法.根据原图中的割点构建覆盖图,给定源点和汇点后确定覆盖图中唯一路径,在GraphChi框架上并行求解覆盖图路径上各子图的最大流,找到各子图最大流的最小值即为原图的最大流值.在美国路网数据集的测试结果表明,提出的算法可显著缩短大规模图的最大流计算时间并且空间复杂度较低,有很好的加速效果.     

分布式图处理系统技术综述

图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中许多的科学问题都可以被模型化为图的问题,因此对图数据进行分析非常的重要.图数据分析在语义web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,谷歌提出了Pregel分布式图处理框架,此后学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,本文首先总结出分布式图处理系统的3个优化目标;其次,论文从计算粒度、任务调度、通信方式、负载划分等四个维度,对现有分布式图处理系统中的各类优化技术作一个详细的综述;最后,论文对该领域未来的研究内容和发展方向进行了探讨与展望.     

图数据库中基于GPU的图分析计算方法

现有的图数据库对于在线分析操作大多采用基于CPU的分布式图计算引擎（如GraphX）,但CPU核心数量有限的不足会导致计算效率低下,同时集群间的同步也会产生额外的通信开销。通过使用图形处理单元（GPU）对图计算进行加速,设计并实现图处理系统RockGraph。该系统能够根据用户需求从图数据库中提取出包含核心信息的子图,经过数据格式转换后,利用JNI工具调用动态链接库,采用超显存GPU图计算框架进行在线分析,并将计算结果写回图数据库。实验结果表明,与基于CPU的分布式图计算系统相比,RockGraph的图分析效率可提高3倍~5倍。     

MR-GSpar:一种基于MapReduce的大图稀疏化算法

图的稀疏化是图聚类分析中数据预处理的关键操作,已得到广泛的关注.针对图数据日益普及、规模不断增大的现状,提出了一种基于MapReduce的面向大规模图的稀疏化算法,即MR-GSpar算法.该算法在MapReduce并行计算框架的基础上,通过对传统的最小哈希(Minhash)算法的并行化改造,使其可在分布式的集群环境中实现对大规模图数据的高效稀疏化处理.真实数据集上的实验表明了该算法的可行性与有效性.     

分布式图计算框架混合计算模式的研究

分析了分布式图计算框架的同步和异步计算模式在调度开销和收敛速度上存在的优点与不足.同步计算模式调度开销小,但是收敛较慢;而异步计算模式收敛较快,但调度开销大.基于上述发现,提出一种混合计算模式,能够在分布式环境下有效地结合同步与异步计算模式的优点克服各自不足,以获得最优性能.混合计算模式采用"同步控制流"以降低分布式环境下的调度开销,同时采用"异步数据流"使计算过程使用较新的数据以加快收敛速度.基于多个典型图算法和真实大规模图的评测显示,混合计算模式的性能是原有同步计算模式的1.2倍到2.4倍,计算量平均减少30%;相对于异步计算模式通过减少调度开销,整体性能可以提升至其2.3倍到4.6倍.     

基于Spark/GraphX图聚类算法的入室盗窃串并案研究

随着我国城镇化进程的不断加速,广泛的人口流动使社会治安环境日趋复杂,犯罪分子系列性作案居高不下,给人民的生命财产安全构成极大的威胁。针对刑事犯罪活动中日益突出的系列入室盗窃案件,提出采用图聚类算法来进行串并案分析。首先利用Spark/Graph X分布式图计算框架,通过提取入室盗窃案的案件特征,计算两两案件之间的相似度,构建案件相似度矩阵;然后依据图论理论,采用图聚类算法实现串并案分析模型。实战工作表明该模型可为侦破案件提供有效的串并线索,极大地减少人工作业,提高了侦查工作的效率。     

图嵌入算法的分布式优化与实现

随着人工智能时代的到来,图嵌入技术被越来越多地用来挖掘图中的信息.然而,现实生活中的图通常很大,因此,分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;(2)现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低.针对以上两个挑战,首先提...     

面向异质图的在线图划分算法

图划分算法是分布式图计算系统里的重要组成部分, 它将一个图划分为若干子图以便在分布式系统中运行, 并将子图上的点和边数据及子图上的计算任务分配到各分区. 异质图是现实世界中广泛存在的一种图, 它是指具有多种节点类型或边类型的图, 在针对异质图的计算过程中, 现有的图划分算法对于异质图的处理没有考虑到以下问题: 在图计算过程中, 不同类型的节点和边携带的数据量可能不同; 不同的节点和边类型, 可能会采用不同的处理算法, 其计算时间也会不同. 针对现有图划分方法的不足, 本文提出一种面向异质图的在线图划分算法OGP-HG算法, 并对现有的GraphX图计算引擎进行改进, 将OGP-HG算法在改进后的图计算引擎中实现. 本文提出的OGP-HG算法通过计算节点划分到不同分区上的负载均衡得分和边划分到不同分区上的数据均衡得分, 得到使异质图负载和内存占用均衡的划分结果. 实验表明, 与传统图划分算法相比, 该算法提高异质图计算效率1.05–1.4倍.     

面向多GPU的图神经网络训练加速

图神经网络由于其强大的表示能力和灵活性最近取得了广泛的关注. 随着图数据规模的增长和显存容量的限制, 基于传统的通用深度学习系统进行图神经网络训练已经难以满足要求, 无法充分发挥GPU设备的性能. 如何高效利用GPU硬件进行图神经网络的训练已经成为该领域重要的研究问题之一. 传统做法是基于稀疏矩阵乘法, 完成图神经网络中的计算过程, 当面对GPU显存容量限制时, 通过分布式矩阵乘法, 把计算任务分发到每个设备上, 这类方法的主要不足有: (1)稀疏矩阵乘法忽视了图数据本身的稀疏分布特性, 计算效率不高; (2)忽视了GPU本身的计算和访存特性, 无法充分利用GPU硬件. 为了提高训练效率, 现有一些研究通过图采样方法, 减少每轮迭代的计算带价和存储需求, 同时也可以支持灵活的分布式拓展, 但是由于采样随机性和方差, 它们往往会影响训练的模型精度. 为此, 提出了一套面向多GPU的高性能图神经网络训练框架, 为了保证模型精度, 基于全量图进行训练, 探索了不同的多GPU图神经网络切分方案, 研究了GPU上不同的图数据排布对图神经网络计算过程中GPU性能的影响, 并提出了稀疏块感知的GPU访存优化技术. 基于C++和CuDNN实现了该原型系统, 在4个不同的大规模GNN数据集上的实验表明: (1)通过图重排优化, 提高了GPU约40%的缓存命中率, 计算加速比可达2倍; (2)相比于现有系统DGL, 取得了5.8倍的整体加速比.     

一种基于MapReduce的不确定图上的相似性连接方法

相比于确定图上的相似性连接,不确定图上的相似性连接通常具有更大的实际应用价值以及计算复杂性。文中研究了基于MapReduce分布式编程框架的不确定图上的相似性连接问题,提出了基于概率和的Map方剪枝和Reduce方剪枝的两种剪枝策略。Map方剪枝策略在映射过程中过滤掉了不可能具有相似图的不确定图。Reduce方剪枝策略用于减少约减过程中的候选图对。基于这两种剪枝策略,文中提出了一种基于MapReduce框架的不确定图上的相似性连接算法MUGSJoin。实验结果证明,该算法与同类算法相比具有更好的性能和可扩展性。     

基于二分图极大权值匹配的SOC故障定位算法研究*

针对故障传播给故障定位带来的影响,考虑SOC功能测试系统中的故障源和故障事件之间的不确定性,提出一种基于二分图的故障定位算法。首先从SOC中抽象出特定的硬件模块,由这些模块构成故障源。然后故障源结合相应的故障事件组合成二分图,在二分图的基础上生成一种适用于SOC故障定位的故障传播模型(Fault Propagation Model,FPM)。最后将SOC故障定位的问题转化成二分图极大权值匹配的求解问题,从概率上保证结果的正确性。实验结果表明,故障定位准确率提高了0~21%,误报率下降了0~15%,更加适用于小型系统的故障定位。     

一种面向图的分布式软件动态配置和容错方法

提出一种新的方法，通过动态配置对基于组件的分布式软件的容错提供支持。此方法采用面向图的GOP编程模型，将整个分布式软件的体系结构用一张逻辑图来描述，系统的动态配置可以通过执行图上预定义的一组操作来完成。检测到故障或异常的时候实施这种动态配置能够支持系统的容错。文中描述了此方法的基本模型、系统结构和基于CORBA的原型实现。     

基于粗糙集和图论的电力系统故障诊断方法

将粗糙集与图论相结合处理电力系统故障诊断,提出了故障决策表图的新概念,得到一种基于粗糙集和图论的电力系统故障诊断方法,并进一步提出了故障信息覆盖度和故障诊断规则分级的概念.利用故障决策表图及其邻接矩阵,得到了快速识别决策表核属性和属性约简的方法,并将规则分级应用于故障规则提取.利用所提出的方法对具体实例进行处理,仿真结果表明,该方法能有效地减少时间和空间复杂度,可根据设定的阈值提取诊断规则.     

A disk I/O optimized system for concurrent graph processing jobs

In order to analyze and process the large graphs with high cost efficiency, researchers have developed a number of out-of-core graph processing systems in recent years based on just one commodity computer. On the other hand, with the rapidly growing need of analyzing graphs in the real-world, graph processing systems have to efficiently handle massive concurrent graph processing (CGP) jobs. Unfortunately, due to the inherent design for single graph processing job, existing out-of-core graph processing systems usually incur unnecessary data accesses and severe competition of I/O bandwidth when handling the CGP jobs. In this paper, we propose GraphCP, a disk I/O optimized out-of-core graph processing system that efficiently supports the processing of CGP jobs. GraphCP proposes a benefit-aware sharing execution model to share the I/O access and processing of graph data among the CGP jobs and adaptively schedule the graph data loading based on the states of vertices, which efficiently overcomes above challenges faced by existing out-of-core graph processing systems. Moreover, GraphCP adopts a dependency-based future-vertex updating model so as to reduce disk I/Os in the future iterations. In addition, GraphCP organizes the graph data with a Source-Sorted Sub-Block graph representation for better processing capacity and I/O access locality. Extensive evaluation results show that GraphCP is 20.5× and 8.9× faster than two out-of-core graph processing systems GridGraph and GraphZ, and 3.5× and 1.7× faster than two state-of-art concurrent graph processing systems Seraph and GraphSO.     

基于SVG的电网故障处理自动化系统

将SVG运用于10 kV电网故障定位、隔离与恢复系统的网络建模与表达,通过研究电网SVG图形描述和设备图元建模,提出基于坐标和节点融合的设备连接关系生成方法,实现基于设备模型的拓扑自动生成、完整性检查和故障信息的容错,设计并实现系统SVG图形Web发布方法。现场运行取得了良好的效果。     

基于系统级诊断理论的卫星网络故障识别算法

提高卫星网络的容错性是一项具有挑战性的工作,故障识别是其中一项根本措施.在采用双层节点图对卫星网络建模的基础上,提出一种基于PMC测试无效模型的卫星网络故障识别算法,并证明了算法的正确性.通过大量仿真实验,对算法在不同类型的卫星网络中的性能进行了对比与分析.实验结果表明,算法能够适用于多种网络拓扑,并具有良好的鲁棒性.     

基于键合图模型的新型解析冗余关系故障诊断方法研究

研究了通过诊断键合图模型建立系统解忻冗余关系(ARRs)的故障诊断方法.通过在系统键合图中加入虚拟传感器的方法建立系统的诊断键合图,根据诊断键合图模型的因果关系路径构建系统的解析冗余关系和系统故障特征矩阵,并利用系统实际观测特征与故障特征的比较进行系统的故障检测和隔离,通过在双容水箱系统的仿真验证,证明了该方法便捷性和...     

动态图划分算法研究综述

图划分是大规模分布式图处理的首要工作,对图应用的存储、查询、处理和挖掘起基础支撑作用.随着图数据规模的不断扩大,真实世界中的图表现出动态性.如何对动态图进行划分,已成为目前图划分研究的热点问题.从不同动态图划分算法的关注点和特点出发,系统性地介绍当前可用于解决动态图划分问题的各类算法,包括流式图划分算法、增量式图划分算法和图重划分算法.首先介绍图划分的3种不同的划分策略及问题定义、图的两种不同的动态性来源以及动态图划分问题;然后介绍3种不同的流式图划分算法,包括基于Hash的划分算法、基于邻居分布的划分算法以及基于流的优化划分算法;其次介绍单元素增量式划分和批量增量式划分这两种不同的增量式图划分算法;再次,分别介绍针对图结构动态的重划分算法和针对图计算动态的重划分算法;最后,在对已有方法分析和比较的基础上,总结目前动态图划分面临的主要挑战,提出相应的研究问题.     

基于贝叶斯征兆解释度的链路故障定位算法

针对故障和征兆关系不确定的网络中故障定位算法检测率低和误检率高的缺陷,提出了一种基于贝叶斯征兆解释度的链路故障定位算法。该算法以概率加权的二分图作为故障传播模型,通过处理贝叶斯后验概率信息,定义一种新的参数贝叶斯征兆解释度,并基于该参数对可能链路故障进行判断,得出最优故障假设集合,实现链路故障定位。理论分析和仿真实验表明,该算法具有较低的计算复杂度,且在小规模不确定网络中具有较高的故障检测率和较低的故障误检率。     

基于改进图卷积神经网络的配网线路故障诊断

随着电网的不断扩容,系统结构越来越复杂,多故障频发,而多故障是故障诊断的关键和难点。为解决故障处理数据量大,需要快速、准确地诊断电网故障的问题,本文提出了一种基于模糊优化图卷积神经网络的配网故障诊断模型。首先处理采集的配网故障线路的特征数据;其次,搭建基于图卷积神经网络的故障诊断模型,利用模糊理论建立配电网故障的隶属函数;最后利用训练好的模型进行配网故障诊断。仿真结果表明,模糊优化图卷积神经网络对多故障诊断的准确率高于卷积神经网络以及其他方法,本文方法做出的诊断结果更加精确,综合诊断效果最好。