DCFS2的元数据一致性策略

随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势．基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题．机群文件系统DCFS2采用分布式日志技术和改进的两阶段提交协议解决了分布式元数据处理下元数据的一致性问题．性能测试结果表明,DCFS2所采用的基于分布式日志的元数据处理策略能够提供高的I／O性能,并能够保证在元数据服务器失效后文件系统快速恢复．     

曙光机群文件系统DCFS负载平衡策略

目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡维护结构RLA(RingbasedLoadbalanceArchitecture)。     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

FSbench:一个机群文件系统基准程序

FSbcnch是一种通用的基于Unix平台的机群文件系统基准程序，它使用独特的时间同步机制来测试文件系统真实并发时的性能，扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统，提供了多种测试共享文件的模式，可以测试共享文件的并行存取性能。     

基于高速通信协议的COSMOS机群文件系统性能研究

作为曙光3000超级服务器的重要组成部分,COSMOS机群文件系统对机群文件系统协议,结构及性能优化等问题进行全面深入的探讨,首先描述了基于曙光3000机群高速通协议BCL－3的COSMOS文件系统的实现,然后引入并发带宽利用率,描述了通信与I／O对机群文件系统性能影响程序,最后介绍了有关性能实验并对实验结果作出解释。     

蓝鲸机群文件系统文件layout设计与实现

维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。     

基于对象存储的机群文件系统数据通路

介绍基于对象存储的机群文件系统——LionFS所采用的关键技术,包括直接递送的数据传输机制以及基于前端负载访问信息的预取技术。性能测试表明,采用预取技术后数据通路可以“并发流水”,读带宽增长了70%,直接递送操作使读、写性能分别提高24%和28%。     

机群文件系统共享语义测试方法

机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文件系统是否满足一定的语义特性。测试表明该方法能够得到令人满意的结果。     

PVFS文件系统吞吐率分析和改进

1.引言近年来工作站机群系统以其低成本、高性能而日益成为高性能计算的潮流。尽管机群系统为许多应用提供丁高性能的计算平台,但是其相对低速的文件系统成为了系统的瓶颈,因此提高机群文件系统的性能具有重要的意义。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。PVFS是一个机群文件系统,目前在大规模并行计算     

分布参数切换系统的稳定性分析

将切换系统的概念引入到分布参数系统中，提出分布参数切换系统的概念．结合切换系统和分布参数系统的建模方法，建立了两类分布参数切换系统的模型．运用切换系统的稳定性分析方法，对两类分布参数切换系统的稳定性进行分析，得出了指数稳定的充分条件．仿真示例验证了定理的正确性．     

多级集群文件系统的全局命名空间的设计与实现

随着存储数据的爆炸性增长和集群技术的快速发展，集群文件系统的研究越来越成为一个焦点，该文设计并实现了一个多级集群文件系统（MCFS）的全局命名空间，MCFS系统采用元数据分层管理思想，建立一个统一的元数据树，从而使整个系统运行在一个松耦合、异构的环境下实现全局命名空间，提高了系统的并行性和可扩展性。在介绍了MCFS命名空间管理的同时，进行了相应的试验测试和性能分析。     

SNFS并行文件系统负载均衡技术的研究与实现

在大规模集群系统的并行运算环境中,I/O效率一直是影响系统整体性能的关键因素,并行文件系统技术是目前解决I/O性能瓶颈的有效途径之一。介绍当前并行文件系统的发展现状以及并行文件系统的类型,阐述SNFS并行文件系统的架构以及负载均衡DLC(分布式LAN客户端)技术的实现原理,并给出大规模集群系统环境中SNFS文件系统负载均衡技术的实现方法,最后,通过实际应用分析说明该技术在提升I/O性能上的优势。     

基于Linux的流媒体文件系统

针对通用文件系统处理流媒体文件效率较低的问题，提出了一种基于“簇”的文件数据组织结构来提高文件系统的吞吐量。实验表明，在Linux下按此组织结构改造后的Ext2与原Ext2相比，文件系统的吞吐量明显提高。     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

HANDY:一种具有动态扩展性的集群文件系统

针对当前集群文件系统只支持静态扩展、不提供高可用性等问题，提出一种基于全局哈希表的动态扩展协议-GHT．利用该协议实现一种支持节点动态扩展的集群文件系统HANDY，重点阐述了协议的设计、算法和理论分析．实验数据证明．HANDY集群文件系统具有良好的动态扩展性和可用性，减小系统的管理和维护开销．     

InfiniBand Ⅲ型集群系统可视化监测工具的实现方法

随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测工具。工具通过lm_sensors获取硬件信息,以proc文件获取负载信息,并通过MPE生成记录并行程序执行过程的log文件,具有能以图形方式实时显示硬件信息和系统节点负载信息,以及需要时可以用图形方式重现程序执行过程的功能。     

Highly reliable message-passing mechanism for cluster file system

With the increase in personal computer clusters in popularity and quantity, message passing between nodes has been an important issue for high failure rate in the network. File access in a cluster file system often contains several sub-operations; each includes one or more network transmissions. Any network failures cause the file system service unavailable. In this paper, we describe a highly reliable message-passing mechanism (HR-NET), which tolerates both software and hardware network failures. HR-NET provides fine-grained, connection-level failover across redundant communication paths. With it, the file system can keep passing messages because HR-NET handles failures automatically by either recovery from network failures or failed over to a backup; therefore, it screens network failures from requests or data transmission of cluster file system. Load balance for messages is also achieved to relieve network traffic. For transmission timeout, HR-NET proposes a priority-based message scheduling which dynamically manages messages in an appropriate order to tolerate request–response failures between clients and servers. HR-NET is implemented upon standard network protocol stack. Performance results show that HR-NET can provide almost full underlying network bandwidth with average 6.17% throughput loss and provide a fast recovery. Experiments with cluster file system show that the overall performance degradation is below 8% due to failover of HR-NET while the reliability is highly enhanced.