MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

云计算的发展与应用

采用文献分析的方法简述了云计算的定义、特点和工作原理;介绍了实现云计算的相关核心技术的研究现状,包括虚拟化技术、海量数据分布式存储技术、海量数据管理技术、编程模型;对已有的几个较有代表性的云计算系统进行了介绍并指出了当前云计算系统面临的挑战,以期为下一步的研究指明方向。     

大规模文本数据的分类系统的设计与实现

云计算模式解决了大规模数据存储和计算能力上存在的瓶颈,为大规模数据挖掘技术提供了理想的计算模式和技术手段。分析Hadoop云计算平台的数据存储和计算模型,在云计算模式的基础上．实现云计算平台上Web文本数据的贝叶斯分类模型。对于大规模数据挖掘中的数据存储和计算的问题和难点．提出一种高效、低成本的解决方案。     

基于异构GPU集群的并行分布式编程解决方案

由于超强的计算能力、高速访存带宽、支持大规模数据级并行程序设计等特点,GPU已经成为超级计算机和高性能计算(HPC)集群的主流加速器。随着处理单元的发展和集群节点的拓展,GPU集群不仅在节点层面呈现异构化,节点内也趋于异构化,大大提高了在GPU集群中编程的复杂度。主流GPU异构集群系统大多采用针对GPU的异构计算编程模型与面向分布式内存的消息传递模型的简单结合方式,这种方式使得GPU集群程序设计缺乏确定的准则,往往是低效而且易错的。为了提高在GPU集群中编程的效率,降低编程复杂度,以及实现平台无关性,提出一套异构GPU集群的并行分布式编程的解决方案。该方案通过采用扩展语言方法提出了编程框架DISPAR,并实现了预处理器系统StreamCC。实验证明了其可行性。     

大规模图神经网络研究综述

图神经网络凭借其处理非欧氏空间数据及其复杂特征方面的优越性受到了大量的关注,并且被广泛应用于推荐系统、知识图谱、交通道路分析等场景中.面对大规模数据,图结构的不规则性、节点特征的复杂性以及训练样本之间的依赖性对图神经网络模型的计算效率、内存管理以及分布式系统中的通信开销造成了巨大的压力.为应对和缓解以上问题,研究者从应用场景、算法模型、编程框架和硬件结构等多个层面对其进行了优化.本文主要回顾和总结了算法模型及编程框架方面的优化,为读者了解面向大规模数据的图神经网络采样算法以及框架优化相关工作提供帮助,为未来算法-框架协同优化奠定基础.具体来说,本文首先简要介绍图神经网络模型中的消息传递机制,分类介绍常见的图神经网络模型,并分析其在大规模数据训练中面临的困难和挑战;然后对面向大规模数据的图神经网络算法模型进行分类总结和分析,包括基于节点、边和子图的采样算法;接着介绍图神经网络编程框架加速的相关进展,主要包括主流框架的介绍以及优化技术的分类总结和分析;最后对未来面向大规模数据的图神经网络研究进行展望.     

利用廉价计算机实现大规模数据处理的技术研究与实现

将虚拟化和Hadoop等云计算技术引入大规模数据处理过程中,提出采用大量廉价计算机建成具有低成本、高效率、高可靠性和高伸缩性的计算机集群的方法,并创建对应的系统框架模型。通过搭建计算平台,验证了利用廉价计算机实现大规模数据处理技术的可行性。     

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.     

基于Hadoop的校园云计算系统

针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统.此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度.     

云计算中基于密文策略属性基加密的数据访问控制协议

云计算提供一种新兴的数据交互模式,实现了用户数据的远程存储、共享和计算。由于云计算的系统复杂性、网络开放性、资源集中性以及数据敏感性等特点,使得用户与云服务器的交互过程面临着严峻的安全威胁,成为云计算安全领域亟待解决的关键问题。文章首先介绍了云计算系统的系统组件、信任模型和攻击模型,针对云计算系统中的数据安全访问问题,提出了基于密文策略属性基加密的访问控制协议。该协议利用切比雪夫映射的半群特性实现了用户身份的合法性认证,并设计轻量级的属性加密算法实现用户数据的可靠性授权。同时,该协议主要引入身份认证、访问控制和前向安全性机制,实现用户身份真实性认证和数据可靠性访问。通过协议存储需求分析,表明该协议在数据属性集和密钥存储方面具有固定的存储空间需求,避免海量数据交互中用户存储空间的线性增长。通过分析,表明该协议具有较强的可靠性、灵活性和扩展性,适应于云环境中大规模数据交互的应用场景。     

志愿者计算模型的研究进展

志愿者计算模型由于可以高效的聚集和利用在Internet上闲散的大规模计算资源,使得人们对高性能计算的研究与实现比集群系统更加廉价和容易,近年来已在工程和科学计算中显示其越来越重要的作用.在构造志愿者计算环境的过程中,志愿者计算网络的拓扑架构、任务的调度模型、应用的编程模型、数据的传输协议、应用的扩充研究等都是研究的关键技术点.本文分析志愿者计算的基本概况,综述了目前的志愿者计算项目在关键技术点上的研究进展,并对其今后的若干研究方向进行了展望.