Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

基于作业进展描述的计算网格作业检查点

分析了计算网格环境中实现检查点机制的特殊性,提出了一种新的应用级检查点方法：基于作业进展描述的检查点方法。介绍了这种检查点方法的基本思想,定义了构成作业进展描述的作业进展状态对象和作业进展描述对象,这些对象的方法构成了检查点API;讨论了检查点作业的构建。     

无线传感器网络中一种实时高效的数据存储和查询方法

集中研究了非结构化的数据存储和查询.为了在保证查询成功率的同时最小化总的能耗,分别在存储受限和不受限两种情况下,建立了MESQ(minimizing energy on successful query)优化问题模型,给出并证明了最优的复本和查询个数.在此基础上,还设计了一个实用的分布式数据分发算法:BubbleGeocast,其主要包含精确自适应快速分发和基于拒绝的均匀分发两个部分,其中前者用自适应分支的方法加速数据扩散,并精确控制总的复本个数;后者根据每个节点Voronoi单元面积,决定是否接受或拒绝这个报文.从而保证了复本和查询分发的精确性、实时性、均匀性、顽健性.最后,详细的理论分析和模拟实验进一步验证了其性能.分析和实验表明,同已有工作相比,在相同查询成功率时,BubbleGeocast能量有效性平均提高了约30%,复本分发的延迟平均缩短了约30%,成功查询的延迟平均缩短了约50%.     

Pmfs中目录项索引的实现

可字节寻址的非易失存储介质,如相变存储器等,使数据可以在内存级别持久化。由于非易失存储器（NVM）本身的读写延时非常低,系统软件开销成为了决定整个持久化内存系统性能的主要因素。Pmfs是一个专门为持久化内存所设计的文件系统,然而,Pmfs下的每个目录操作（打开、创建或删除）都会遍历目录下的所有目录项,导致了随文件数增长而线性增长的目录项查找开销。通过测试发现,在特定类型负载下这种开销成为了整个文件系统的瓶颈。针对该问题,在Pmfs中实现了持久化的目录项索引来加速目录操作。测试结果显示,基于单目录下100000文件的负载,该优化使得文件创建速度提高了12倍,带宽增加了27.3%。     

面向对象C＋＋并行编译系统的总体设计和实现

面向对象语言在大型并行软件设计和开发上具有巨大的潜力。本文介绍了在网络环境上，我们设计 的面向对象Ｃ＋＋并行编译系统ＯＯＣＰＣＳ的面向对象的大粒度数据流并行模型和总体设计，并讨论了其中一些重要的实现技术。     

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。     

基于资源目录技术的网格系统软件设计与实现

由于网格计算系统中地理分布着大量不同类型动态实体，资源、服务和计算的发现、特征化、监控变得非常困难，资源信息服务成为网格软件的关键技术之一。采用面向对象方法设计网格资源信息模型，使用目录服务技术建造网格系统软件中的资源信息服务，提供了资源信息发现、收集、存储和访问机制，介绍了国家高性能计算环境的基本结构和功能，详细描述了基于轻权目录访问协议（LDAP）的网格系统软件的设计和实现。     

大规模集群中一种自适应可扩展的RPC超时机制

在基于RPC(remote produce call)构建的分布式系统中,超时是一种通用的失效检测手段.在超大规模Lustre存储集群的压力测试中,发现传统的固定超时机制会导致很多不必要的超时而存在缺陷.提出了一种综合考虑了网络条件、服务器负载、扩展性和性能等因素的自适应可扩展的RPC超时机制(Adaptive Scalable RPC Timeout mechanism,简称AST).在其控制下,客户端超时值可以根据网络和服务器的拥塞情况动态地调整设置,而且服务器可以通过额外消息传递通知客户端修改原超时值.经过一系列的模拟和验证,其结果表明,AST是一种更适合的RPC失效检测模型,增强了系统的响应性、可靠性和稳定性,而且对系统的性能没有过大的负面影响.