元计算系统的一个可扩展层次型资源管理模型

资源管理是元计算系统中的关键问题，为了支持大规模元计算应用，必须有效地解决资源联合分配问题。提出了一种可扩展层次型资源管理模型，在充分利用已有的批处理调度系统的基础上，通过核心资源管理器与局域资源调度系统的交互，为异构资源提供统一的接口，为解决资源的联合分配问题，提出了基于站点的层次型管理机制，可将应用程序的资源请求分布在相对紧密的资源集合上，不仅减小了元计算应用程序的整体通信开销，而且计算提供了资源预约服务。     

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。     

GridDaEn数据网格中的元数据预取与缓存策略

因数据网格系统部署在广域网环境,所以网络传输延时将成为影响其服务质量(QoS)的主要因素之一。在对预取技术进行了深入细致的探讨之后,本文利用空间换取时间的思想提出了一种元数据的预取与缓存策略。考虑到Grid-DaEn系统中元数据自身的特点,还提出了一种新颖的元数据预取算法DHMP。     

“计算机体系结构”课程建设及改革思考

"计算机体系结构"课程是计算机科学与技术学科计算机系统结构专业的一门重要的专业基础课、必修课,是全国精品课程。本文详细介绍了"计算机体系结构"的课程建设概况、教学内容特点、教学体系、实验设计,并探讨了课程教学内容改革的方向和做法。本课程建设始终坚持紧跟国际一流、注重实践性教学、建立完整的培养体系等思路,取得了很好的建设效果。     

“信息存储技术”的课程建设与教学实践

数据的爆炸式增长对信息存储技术提出了巨大挑战,也对信息存储人才的培养提出了迫切需求,因此"信息存储"系列课程的建设和发展迫在眉睫。本文首先分析了美国和国内高校开设信息存储课程的现状,然后结合我校的实践情况,从教学目标、教学内容、教学方式与学时分配、教学组织、成绩评价方式等方面探讨了信息存储课程的课程建设和教学实践。     

一种基于GMA结构的开放式网格资源信息服务

网格是把广域网上大量分布、异构资源进行整合，实现统一视图和统一访问接口的基础设施．资源信息服务在网格中具有重要地位，其作用是感知和监控异构资源，并为上层应用提供资源信息，从而为资源调度和选择系统策略提供依据．传统的主机监控不能适用于网格，现有的网格资源信息服务也存在一定缺点．通过分析网格资源信息服务的一般要求，针对现有系统的不足，基于GGF提出的GMA体系结构，从几个不同方面提出了更适合网格特点，开放性和互操作性较好的改进方案，最后，一方面对资源信息服务的性能策略进行了讨论和理论分析，另一方面以目前实现的原型系统GridEye为基础，进行了资源信息服务的性能测试实验，并对结果进行了分析．     

大规模集群中一种自适应可扩展的RPC超时机制

在基于RPC(remote produce call)构建的分布式系统中,超时是一种通用的失效检测手段.在超大规模Lustre存储集群的压力测试中,发现传统的固定超时机制会导致很多不必要的超时而存在缺陷.提出了一种综合考虑了网络条件、服务器负载、扩展性和性能等因素的自适应可扩展的RPC超时机制(Adaptive Scalable RPC Timeout mechanism,简称AST).在其控制下,客户端超时值可以根据网络和服务器的拥塞情况动态地调整设置,而且服务器可以通过额外消息传递通知客户端修改原超时值.经过一系列的模拟和验证,其结果表明,AST是一种更适合的RPC失效检测模型,增强了系统的响应性、可靠性和稳定性,而且对系统的性能没有过大的负面影响.     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

无线传感器网络中一种实时高效的数据存储和查询方法

集中研究了非结构化的数据存储和查询.为了在保证查询成功率的同时最小化总的能耗,分别在存储受限和不受限两种情况下,建立了MESQ(minimizing energy on successful query)优化问题模型,给出并证明了最优的复本和查询个数.在此基础上,还设计了一个实用的分布式数据分发算法:BubbleGeocast,其主要包含精确自适应快速分发和基于拒绝的均匀分发两个部分,其中前者用自适应分支的方法加速数据扩散,并精确控制总的复本个数;后者根据每个节点Voronoi单元面积,决定是否接受或拒绝这个报文.从而保证了复本和查询分发的精确性、实时性、均匀性、顽健性.最后,详细的理论分析和模拟实验进一步验证了其性能.分析和实验表明,同已有工作相比,在相同查询成功率时,BubbleGeocast能量有效性平均提高了约30%,复本分发的延迟平均缩短了约30%,成功查询的延迟平均缩短了约50%.     

Pmfs中目录项索引的实现

可字节寻址的非易失存储介质,如相变存储器等,使数据可以在内存级别持久化。由于非易失存储器（NVM）本身的读写延时非常低,系统软件开销成为了决定整个持久化内存系统性能的主要因素。Pmfs是一个专门为持久化内存所设计的文件系统,然而,Pmfs下的每个目录操作（打开、创建或删除）都会遍历目录下的所有目录项,导致了随文件数增长而线性增长的目录项查找开销。通过测试发现,在特定类型负载下这种开销成为了整个文件系统的瓶颈。针对该问题,在Pmfs中实现了持久化的目录项索引来加速目录操作。测试结果显示,基于单目录下100000文件的负载,该优化使得文件创建速度提高了12倍,带宽增加了27.3%。