Lustre设置优化分析

在影响Lustre文件系统读写性能的因素中,Lustre文件系统的自身设置是非常重要的,所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试,并根据实验结果进行分析,才能提出更符合应用需求的Lustre文件系统读写优化方案。     

面向对象存储的文件系统Lustre

针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和 TCP／IP网络构建的集群系统上。实验结果表明,在TCP／IP协议和千兆交换机下, Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统, Lustre系统仍有较大的性能提高和实用价值。     

NFS over Lustre性能评测与分析

传统的网络文件系统难以满足高性能计算系统的I/O 需求，基于对象存储的全局并行文件系统Lustre可以有效地解决传统文件系统在可扩展性、可用性和性能上存在的问题。该文介绍了Lustre文件系统的结构及其优势，对NFS over Lustre 进行了性能测试，并将测试结果与Lustre文件系统、NFS网络文件系统及本地磁盘Ext3文件系统的性能进行了比较分析，给出了性能差异的原因，提出了一种可行的解决方法。     

面向并行文件系统的性能评估及相对预测模型

基于Lustre文件系统,对并行文件系统的性能评估和性能建模进行了研究.通过对性能因子的调研,进行了一系列性能评估实验,并提出性能相关性模型(PRModel).在实验评估和PRModel分析中发现,在不同的性能因子之间存在着紧密的性能相关性.为了挖掘并利用这种相关性信息,提出了一种相对性能预测模型(RPPModel)来预测不同性能因子条件下的性能.为了验证RPPModel的有效性,设计了大量实验用例.结果表明,预测结果的平均相对误差能够控制在17%~28%的范围内,易于使用且具有较好的预测准确度.     

集群文件系统的性能最优化配置

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件服务和Web服务,测试了不同节点数和不同lustre条块大小配置下的系统性能;通过对比分析,得出lustre集群文件系统最优化配置,为提高集群文件系统性能提供参考.测试结果显示.当lustre文件系统的OST节点数与client节点数相当时系统性能最好.     

基于机器学习的并行文件系统性能预测

并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%～32.1%之间,具有较好预准确度.     

Lustre文件系统I/O锁的应用与优化

分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。     

连接操作在SIMFS和EXT4上的性能比较

连接操作是关系数据库系统中最基本、最昂贵的操作,对数据库性能有巨大的影响。由于连接表存放在文件系统中,因此文件系统的性能对连接操作的性能有决定性的影响。不同文件系统的连接操作性能测试对数据库研究有重要意义,但目前相关测试较少。首先对比分析了新型内存文件系统SIMFS(Sustainable In-Memory File System)的数据读写路径与磁盘文件系统EXT4(Fourth Extended File System)I/O路径等方面的差异;然后设计实验测试了不同文件系统对连接操作的影响,其中对SIMFS和EXT4分别设置了不同的数据读写块大小和I/O块大小等测试指标。实验表明,连接操作在SIMFS和EXT4上的性能优化、块大小影响、性能提升瓶颈、硬件约束等方面均存在明显差异。在实验结果比较分析的基础上,给出了针对新型内存文件系统连接操作的优化建议。     

并行文件系统Lustre细粒度I/O性能优化

并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先（Fine Grained First,FGF）LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。     

基于Infiniband技术构建高性能分布式文件系统-Lustre

介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infiniband技术极大地提高了Lustre的性能,具有很大的潜力。最后介绍了下一步的工作。     

同步数据流语言高阶运算消去的可信翻译

Lustre是一种广泛应用于工业界核心安全级控制系统的同步数据流语言,采用形式化验证的方法实现Lustre到C的编译器可以有效地提高编译器的可信度.基于这种方法,开展了从Lustre*(一种类Lustre语言)到C子集Clight的可信编译器的研究.由于Lustre*与Clight之间巨大的语言差异,整个编译过程划分为多个层次,每个层次完成特定的翻译工作.阐述了其中高阶运算消去的翻译算法,翻译过程采用辅助定理证明工具Coq实现,并进行严格的正确性证明.     

加快分布式文件系统元数据访问的研究与实现

元数据操作是影响分布式文件系统性能的一个关键因素。笔者深入研究了分布式文件系统Lustre的元数据存储方式及其访问特点,针对提高元数据的服务效率提出了一种改进方案。该方案将指定的扩展属性(系统元数据)在扩展属性块中的地址偏移存放到元数据文件索引节点的数据区域中,减少了扩展属性遍历的开销。系统测试和分析表明,改进后的系统有更高元的数据访问效率。     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

同步语言Lustre的编译前端的设计与实现

同步语言Lustre所描述的反应系统通常应用在航空航天、国防建设等领域,对系统的正确性和安全性都要求很高。如果系统在运行时出现了正确性问题,很可能会导致系统崩溃,产生非常严重的后果。系统中的任何一个词法错误或者语法错误都应该受到重视,而且应该被及时纠正。因此,对Lustre语言进行正确的编译是十分重要的。传统的Lustre语言的编译器都采用OCaml语言描述,无法保证所有人员都能够很容易地理解和使用,而且,需要耗费开发人员大量的时间和精力。基于上述问题,提出了一种新型的Lustre语言编译器。新型的Lustre语言编译器前端主要采用C++语言进行描述,并对生成的抽象语法树的结构进行重新定义,简化了编译的过程。该编译前端会对一个经典的Lustre语言模型进行检测,通过对检测的结果进行分析,验证了该编译前端的可行性。     

Flush: an example of development by refinements in SCADE/Lustre

In the domain of safety-critical control systems, the Lustre/SCADE development environment has proved its value, with notable achievements such as the Hong Kong subway signaling system and Airbus A380 flight controls. The interest of the approach comes from the synchronous data-flow style of the Lustre language which makes it well-adapted to the culture of control engineers. Moreover Lustre is endowed with simple formal semantics which makes it amenable to formal development. The currently running Flush project consists in building a formal system development tool on top of Lustre, by taking advantage of the language formal properties. To this end, a refinement calculus is defined, encompassing both functional and temporal aspects. Refinement proof obligations are generated, and several proof approaches can be used to discharge them: model-checking, abstract interpretation, and theorem proving through repeated induction and, finally translation to PVS proof obligations. The resulting methodology is illustrated on the island example used by J.R. Abrial for presenting the B system method.     

A unified framework for describing and verifying hardware synchronous sequential systems

This paper presents a unified framework for expressing and solving the different functional verification problems of the circuit designers. This approach is based on the synchronous data flow language Lustre that was originally designed for programming real-time systems. Lustre can be used to describe digital circuits at different abstraction levels and their environments, as well as to express the properties about the behavior of these circuits. Then, the verification tool Lesar associated with the language Lustre automatically handles the different verifications.     

下一代互联网存储集群系统的设计与实现

针对以IPv6为主要特征的下一代互联网的需求,本文介绍了将基于对象的分布式文件系统Lustre由仅支持IPv4改进为同时支持IPv4与IPv6双协议栈的设计原则与实现,并测试比较了Lustre在IPv6与IPv4环境下的性能。其中的设计原则是通过分析Linux系统的IP协议栈得到的,因此同样适用于其他期望使用Linux的Socket接口实现支持双协议栈的网络程序。