基于分布式图计算框架的好友推荐算法研究

随着社交网络的兴起与发展,用户数目规模呈现出指数级增长的趋势。这些大规模数据里蕴含着许多有价值的信息,挖掘其中有用的信息已经成为学者研究的重点,好友推荐就是数据挖掘里的一个重要应用。为了获得更优的性能、更高的可扩展性,采用分布式平台解决大规模好友推荐成为学术界和工业界的一个发展趋势。目前使用得较广泛的为基于MapReduce框架的好友推荐算法,该方法有较高的可扩展性,但是受限于MapReduce低效的中间数据传输,存在性能缺陷。针对上述问题,提出一种基于分布式图计算框架的好友推荐算法。最后,在多个真实的社交网络数据集上评测了该方法。实验结果表明,该方法要优于业界先进的好友推荐算法,在准确率相当的情况下,性能大约为其他算法的7倍。     

面向分布式图计算作业的容错技术研究综述

随着图数据规模的日益庞大和图计算作业的日益复杂,图计算的分布化成为必然趋势.然而图计算作业在运行过程中面临着分布式图计算系统内外各种来源的非确定性所带来的严峻的可靠性问题.首先分析了分布式图计算框架中不确定性因素和不同类型图计算作业的鲁棒性,并提出了基于成本、效率和质量3个维度的面向分布式图计算作业的容错技术评估框架,...     

图计算中基于一致性约束条件的迭代模型研究

迭代计算是数值计算中有效的逼近方式,能够拟合多种计算模型.在大数据分析领域尤其是图计算中,迭代计算能够抽象描述大部分图算法,对结构化数据挖据和关联分析至关重要.随着数据规模的增长,很多精确算法的时空复杂度已经难以满足现实需求,迭代计算的算法越来越丰富.并行迭代是图计算的主要实现形式,已有的图并行策略大多数是同步模型,少量异步模型,对于一致性约束条件下的迭代研究较少.研究内容重点关注图计算模型中迭代执行技术,分析了同步迭代和异步迭代的适用性,以及不同一致性下的异步迭代方式,针对已有异步迭代方式的不足提出了自适应的弱一致异步执行模型,并进行了验证性实验.实验证明：该模型能有效提高部分图算法的执行效率,尤其是收敛速度和效果.     

基于分布式图计算的学术论文推荐算法

针对海量论文数据导致的应用效率低下问题,提出一个基于层次混合模型的推荐算法WSVD++。该模型根据学术论文良好的结构特征,构建一个加权的论文二部图模型。首先对论文进行特征提取,按不同特征的权重构建论文的复合关系图;其次对关系图采用一种改进的PPR算法,计算每篇论文的重要程度,依此来对用户—论文关系进行加权;然后在构建好的加权二部图模型上混合SVD++图算法进行推荐。实验结果表明,改善了推荐算法学术论文的推荐效果,并且基于分布式图计算框架GraphX,扩展性好,适合大数据处理。     

图数据分析系统计算模型综述

随着大数据时代的到来,图作为一种表示和分析大数据的有效方法,正成为学术界和工业界广泛关注的焦点.图数据具有规模巨大、耦合性强、动态变化等特点,需要新的计算模型支持高效的图计算系统对大规模图数据进行处理.对图计算系统计算模型的研究现状进行了调研和综述,首先介绍图计算系统的产生和发展,然后将主流图计算系统中的计算模型按照计算对象分为:结点中心计算模型、边中心计算模型、路径中心计算模型和子图计算模型四类,重点介绍结点中心模型的应用和性能,最后对图计算模型的发展过程进行总结,并展望图计算模型未来发展方向.     

日地空间信息分布式协同高性能计算框架

以日地系统活动规律研究为背景,基于美国新近提出的应用于大规模科学计算领域的组件规范CCA（Common Component Architecture）,设计提出了日地空间信息分布式协同高性能计算框架DCHF-SI,它集物理模型组件化封装、模拟应用的构建和管理、模型互操作、分布式容错和计算驾驭可视化等服务于一体,能够充分利用网络集成大量的分布式高性能计算资源和空间物理模型资源来构建多物理松耦合模拟应用,支持日地空间信息的分布式协同高性能计算,解决了多物理耦合模拟的复杂性问题,最终为空间天气预报服务系统提供支持。     

GSO:基于图神经网络的深度学习计算图子图替换优化框架

深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜...     

计算模式的统一研究

现在的支持TLP、DLP和OLP 3种计算模式的系统芯片/阵列芯片是不统一的,没有自然反映时空计算的概念和数学语言的特点,带来了计算机应用、设计和制造的多样性与复杂性.因此,该文从时空计算的概念和数学语言的特点出发,提出了计算模式的编程语言和体系结构的统一研究.     

基于并行图计算框架大规模图最大流加速算法

最大流是一个重要的图计算问题,很多实际场景中如城市车流量和排水管道的排水量等问题若转化为最大流问题可以得到有效的解决.已有工作从多个角度对最大流问题进行了探讨,但仍存在一些问题.针对一些分布式图计算系统进行图分割计算复杂度较高,多次计算存在大量冗余工作等问题,提出基于GraphChi框架的大规模图最大流加速算法.根据原...     

面向图结构的分布式程序设计模型GOM

很多分布式程序由一组分散在不同处理器结点上的松散耦合的进程协作完成某项任务。这些进程底层的逻辑结构可以用一个图来表示，进程间的通信和同步关系可以用图上的操作来表示。该文描述面向图结构的模型ＧＯＭ以及它的实现ＧＯＳ。在ＧＯＭ层，一个分布式程序由一个概念图以及由消息激活的若干函数构成。     

面向大规模图数据的分布式可达性索引与查询策略

针对构建大规模图数据可达性索引时的构建时间长、存储代价高和响应时间长等问题,提出一种分布式可达性索引与查询策略(DRIQ)。在不破坏原图中节点可达性的前提下,将大规模图划分成若干小规模子图,并对每个子图分布式并行地创建可达性索引,从而提高可达性索引创建效率。给出保持图划分后各子图内节点间以及子图间节点可达性的方法,从而保证基于DRIQ进行可达性查询的正确性。实验结果表明,与传统可达性查询方法相比,该策略具有高效性和可扩展性。     

分布式图处理系统技术综述

图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中许多的科学问题都可以被模型化为图的问题,因此对图数据进行分析非常的重要.图数据分析在语义web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,谷歌提出了Pregel分布式图处理框架,此后学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,本文首先总结出分布式图处理系统的3个优化目标;其次,论文从计算粒度、任务调度、通信方式、负载划分等四个维度,对现有分布式图处理系统中的各类优化技术作一个详细的综述;最后,论文对该领域未来的研究内容和发展方向进行了探讨与展望.     

基于OPC框架的高效计算服务应用

大数据计算是当前云计算研究的热点之一. 在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得传统的数据加工性能日益劣化. 在复杂的业务场景下,由于海量的电力数据,使得数据指标加工计算的效率非常低下,传统方式的加工任务经常耗时数个小时,难以满足用户的体验要求. 为了解决这个问题,全面提升数据指标加工任务效率,基于对象化并行计算（Objectification Parallel Computing,OPC）框架实现了一种高效计算服务,OPC是分布式并行内存计算框架. 在OPC框架中,大数据集被拆分成小数据集,并分布式地存储在集群内存中. OPC计算任务借鉴了分而治之和归并树的思想,将计算任务分成两个阶段：本地计算任务和计算结果收集汇总. 计算任务基于本地计算数据进行计算,得到本地计算结果,然后将计算结果通过收集结点进行汇总合并,最后得到最终结果. OPC框架技术应用在国家电网公司工程生产管理系统（PMS）中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足高效计算需求.     

XML在分布式数据同步中的应用研究

本文针对分布式数据同步时因为有异构的数据源而造成数据格式不统一，应用层进行同步的时候要进行相当复杂的转换并且维护起来也要耗费相当大的成本，提出了利用XML来统一异构数据潭的格式。从而为分布式数据同步提供统一的数据平台，大大降低了数据同步的工作量，提高了整个系统的性能。     

大规模图处理研究

大数据研究领域的许多问题可以转换为图的问题。本文将阐述鲲鹏大数据系统计算引擎中有关大规模图处理的研究进展以及应用,具体包括高效子图匹配算法、面向图的稀疏数据存储结构和大规模图异步计算模型及其在基因拼接中的应用。     

ViWOSG:超大规模分布式虚拟环境中的分布式场景图

超大规模分布式虚拟环境包括超大规模的地形场景和超大规模复杂场景对象数据及其属性数据,如二三维几何模型、音视频、图像、矢量图形和文字等各种专题数据.对超大规模的场景对象进行高效地组织和管理调度,是对超大规模分布式虚拟环境进行高效交互仿真的必要条件.针对数字娱乐和军事国防等应用背景,提出了一种超大规模分布式虚拟环境中的分布式场景图ViWoSG的构造方法,以满足高并发访问和分布式交互仿真的需求.所提出的分布式场景图具有可扩展性好,可以支持分布式虚拟环境的高并发协同交互等特点,并支持场景对象数据的各种编辑及查询、存取和运动控制等功能.最后,结合分布式虚拟场景上的应用实例验证了ViWoSG结构的有效性和合理性.     

基于合作仲裁求解分布式约束优化问题的研究

MAS中许多分布式推理问题都可以建模为分布式约束优化问题(DCOP).在这里,我们把分布式会议调度DMS(Dis-tributed Meeting Scheduling)问题映射为DCOP,基于合作仲裁进行求解,并把结果与另一个DCOP算法比较.考虑到完全解决方案的时间复杂性,我们把局部约束图转换为伪树,加速了搜索速度,从而在较短的时间找到最优解决方案.     

分布式容错计算描述语言及其应用研究

在设计分布式容错系统的架构时,不仅要控制所有组件正常运行时的标准系统活动,还要控制某个组件失效时的情形。在传统的分布式容错系统设计中,这两者的模块实现往往具有紧密的耦合性,这为大型分布式容错系统的理解、设计、开发与维护增加了难度。为了解决这个问题,提出了一种新的方法,参考Hoare的通信顺序进程理论,使用维也纳定义语言元语言来定义这样一种描述语言:它不仅能够描述分布式计算的并发现象,还能够独立刻画系统的容错行为。这种解决方案体现了现代编程语言走向抽象化的必然趋势,也为分布式容错计算研究领域的发展提供了一种新的思路。     

利用网格服务的分布式频繁模式挖掘算法

充分利用网格计算平台的各种服务来进行分布式数据挖掘,是近来数据挖掘方面的一个热点。网格计算中的任务管理、任务调度和资源管理等服务可以为分布式数据挖掘提供极大的便利。该文在这些研究的基础上,介绍了一种基于网格平台的分布式频繁模式挖掘算法。该算法借鉴了FP-growth算法的思想并利用网格平台所提供的分布式计算的各种便利的服务,能在网格计算环境中进行分布式频繁模式的挖掘。