基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

分布式文件系统中的负载平衡技术

I／O，特别是存储系统成为了计算机系统结构的核心，因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上，提出了一种动态的负载平衡技术，并给出此技术的实现方案和可行性分析。     

基于IBA构建高性能的MPI环境

IBA作为一种I/O间、主机间的下一代高速互联方式,在高性能计算领域越来越成为瞩目的焦点。消息传递接口MPI已经成为并行程序设计事实上的国际标准。该文详细介绍了在IBA之上构建一个高性能的MPI环境的方法,并对消息延迟和消息带宽进行了测试,对测试数据进行了分析。     

基于可扩展、高性能分布式文件系统的网络存储方式的研究与实现

本文首先比较了当前几种网络存储方式,针对网络中单个服务器存储需求紧张而同时局域网中存在存储资源闲置的情况,提出了一种基于可扩展、高性能分布式文件系统的网络存储的构建方式,该种构建方式能够为用户提供一个高效、完整、大容量的存储空间。     

分布式文件系统

文件系统是计算机系统重要的组成部分，随着网络技术的发展，独立平台上的文件系统有向局域网和广域网上发展的趋势，逐渐形成分布式计算机环境中的一个支撑技术──分布式文件系统。本文首先叙述分布式文件系统的基本概念，发展历史以及几个成熟的分布式文件系统，然后介绍一下支持分布式文件系统的关键技术─—虚拟文件系统、高速缓存技术以及所需的通讯技术。     

基于可扩展、高性能分布式文件系统的网络存储方式的研究与实习

本文首先比较了当前几种网络存储方式，针对网络中单个服务器存储需求紧张而同时局域网中学在存储资源闲置的情况，提出了一种基于可扩展、高性能分布式文件系统的网络存储的构建方式。该种构建方式能够为用户提供一个高效、完整、大容量的存储空间。     

基于集群技术构建电力系统高性能计算平台

高性能计算是解决大规模电力系统分析计算的有效途径。该文介绍如何基于集群技术构建电力系统高性能计算平台。作者以自己的构建过程为例,分析电力系统高性能计算集群的基本体系结构,从硬件、网络和软件三个方面详细解析其高性价比的构建技术。最后,运用基准测试程序(LinPACK、NPB和PMB)对这一高性能计算平台的进行测试,显示了该平台高效的并行计算性能,以及对程序可移植性的良好支持。基于集群技术构建的电力系统高性能计算平台能为真正解决大电网快速、详细的仿真计算奠定基础。     

大规模分布式文件系统元数据管理综述

文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%～80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。     

基于Infiniband的大规模并行系统互连网络的建模与仿真

互连网络的数学建模在大规模并行系统的研究和设计中有重要的作用,而Infiniband网络是一种广泛运用于高性能计算机系统的互连网络标准。本文对基于Infiniband的互连网络进行了分析,建立了网络延时模型,并使用该模型分析了2D-mesh和m-portn-tree两种拓扑的互连网络特性。最后通过仿真对分析模型进行了测试和评价,仿真结果表明,该模型能够合理地反映互连网络的特性。     

基于大数据分析的分布式文件系统关键技术

我国在互联网应用方面具有很高的应用水平,这得益于我国互联网数据分析与处理技术的提升,该项技术也是各大互联网企业赖以生存的重要技术之一。随着当前互联网信息数据产生速度的不断加快,导致信息规模持续扩展,互联网为了维持正常的应用功能,对数据存储功能提出了更高的要求。但是,当前分布式文件系统已难以满足人们的使用需求。基于此,分析了当前大数据形势下的分布式文件系统的一些关键性技术。     

Ad Hoc File Systems for High-Performance Computing

Storage backends of parallel compute clusters are still based mostly on magnetic disks,while newer and faster storage technologies such as flash-based SSDs or non-volatile random access memory(NVRAM)are deployed within compute nodes.Including these new storage technologies into scientific workflows is unfortunately today a mostly manual task,and most scientists therefore do not take advantage of the faster storage media.One approach to systematically include nodelocal SSDs or NVRAMs into scientific workflows is to deploy ad hoc file systems over a set of compute nodes,which serve as temporary storage systems for single applications or longer-running campaigns.This paper presents results from the Dagstuhl Seminar 17202"Challenges and Opportunities of User-Level File Systems for HPC"and discusses application scenarios as well as design strategies for ad hoc file systems using node-local storage media.The discussion includes open research questions,such as how to couple ad hoc file systems with the batch scheduling environment and how to schedule stage-in and stage-out processes of data between the storage backend and the ad hoc file systems.Also presented are strategies to build ad hoc file systems by using reusable components for networking and how to improve storage device compatibility.Various interfaces and semantics are presented,for example those used by the three ad hoc file systems BeeOND,GekkoFS,and BurstFS.Their presentation covers a range from file systems running in production to cutting-edge research focusing on reaching the performance limits of the underlying devices.     

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式,实现了分布式分层资源管理模型.该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略.同时,该模型中的带外数据传输功能克服了系统的性能瓶颈,提高了系统支持并发访问的能力.理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性.     

采用信任管理的分布式文件系统TrustFs

在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对文件的发布者进行认证,通过信任管理技术评估发布者的可信任度,从而达到帮助用户识别不安全文件的目的。TrustFs使用可堆叠文件系统的技术实现,可以移植到所有的Unix系统,并具有良好的扩展性。     

广域存储虚拟化系统的文件访问

广域存储虚拟化所要解决的一个问题是如何实现对分布的文件进行方便高效的访问。本文在分析了几种常见的文件系统后，针对广域存储虚拟化系统的特征，设计了客户端的文件访问模式，并实现了一套应用于该系统的文件访问接口，使用户能够像使用本地系统一样使用广域存储虚拟化系统的存储资源。     

几个常见分布式文件系统特征分析和性能对比

近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。     

曙光星云分布式文件系统:海量小文件存取

随着互联网应用的发展和云计算的兴起,在线图片、音频、视频以及微博等服务逐渐广泛发展,这些应用展示了与传统应用截然不同的数据访问和存储模式.数据中心内每秒钟都有大量较小文件的生成、分析和返回,这些应用对高并发海量文件的高吞吐、低延迟读写提出了新的挑战.提出基于分布式表存储的全新的分布式文件系统HVFS来管理数以十亿计的文件,并同时支持高吞吐和低延迟的文件访问.HVFS通过改进分布式可扩展哈希来管理元数据、日志结构的格式和列存储来利用时空局部性.本文描述了HVFS的设计和实现并进行了中等规模的实验.实验显示HVFS的表存储结构能够线性的扩展,并在82个结点上提供超过240,000次/秒、100,000次/秒的数据(<1KB)写和读;基于FUSE的实现在32个节点上提供超过180,000个/秒的文件创建速度.     

基于合并控制消息的分布式文件系统优化机制

目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减少控制消息通信的数量,达到提高分布式文件系统读写性能的目的;并在pNFS-2.6.33的基础上实现一个原型系统,使用Filebench以及多种负载数据集进行了测试与分析,实验结果显示在文件大小达到2GB以上时读写性能比之前提高了约5％.