PVFS元数据服务器的并行化设计与实现

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I／O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。     

PVFS客户端目录缓存设计与实现

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存，不仅可以减轻目录服务器的压力，避免目录服务器成为系统瓶颈，而且可以简化客户端操作过程，提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析，建立了客户端目录缓存模型；就客户端目录缓存实现的一些关键性问题，如缓存池开辟位置、一致性等问题进行了研究，给出了解决方法，并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明，加入缓存后，PVFS系统性能有所提高。     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(ParallelRemoteSensingImageProcessingFileSystem)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点。     

并行文件系统中高效遥感数据分布技术之研究

本文简要回顾了并行文件系统领域方面的研究,介绍了一种高效的基于大数据量遥感信息的并行文件系统PIPFS(Parallel Remote Sensing Image Processing File System)中的数据分布机制和元数据格式,说明了该并行文件系统设计中数据分布的主要特点,并对系统特有的数据分布方式和元数据格式进行了详细说明,进行了相关数据测试,用以说明该并行文件系统利用数据分布策略来提高效率的独特特点.     

PVFS文件系统吞吐率分析和改进

1.引言近年来工作站机群系统以其低成本、高性能而日益成为高性能计算的潮流。尽管机群系统为许多应用提供丁高性能的计算平台,但是其相对低速的文件系统成为了系统的瓶颈,因此提高机群文件系统的性能具有重要的意义。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。PVFS是一个机群文件系统,目前在大规模并行计算     

并行文件系统中的最优化服务关系研究

本文针对集束式请求服务模型和并行科学计算应用的访问模式,综合考虑了磁盘开销和通讯时间,在理论上推导出最优化的服务关系,并进行了模拟验证。     

集群流媒体文件系统MFS设计与实现

文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统，它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。     

并行I/O技术研究

从分析提高I／O性能的途径开始，对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨，最后介绍了几个著名的并行文件系统。     

并行文件系统管理工具的设计与实现

通过对常用并行文件系统体系结构的分析，提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础，实现了PVFS并行文件系统的管理工具，并为用户提供了单一映像的管理控制台。功能测试结果表明，该管理工具的引入降低了并行文件系统管理的复杂性。     

一种高性价比的PVFS并行文件系统

分析PVFS并行文件系统的构成,得出客户机软件、元数据服务器软件和数据服务器软件之间的接口关系,然后研究一种由PC客户机、PC元数据服务器和低价数据服务器共同构成的PVFS系统,其中客户及与元数据服务器不做重要改变,数据服务器软件需要开发修改以适应新的硬件平台,使得以更低的成本实现相同的系统或者以相同的硬件成本实现更高的性能。     

并行虚拟文件系统客户端缓存技术研究与实现

缓存技术是一种提高文件系统性能的关键性技术．在并行文件系统中实现客户端缓存，既能够减轻集群服务器系统的通信负载，又能有效地提高文件系统的性能．对PVFS并行文件系统进行了分析，建立了客户端缓存模型，就客户端缓存实现的一些关键性问题，如一致性、查找、替换等进行了研究，给出了解决方案，并在此基础上实现了一个客户端缓存的原型系统．测试结果表明，加入缓存后，PVFS整体性能有明显的提高．     

NFS和PVFS文件系统吞吐率分析

随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文件系统,然后比较了NFS和PVFS的吞吐率,给出了详细的测试数据。最后对NFS、PVFS吞吐率差异的产生原因和影响吞吐率的关键因素进行了较详细的分析,并给出了自己的结论。     

PVFS寄生式元数据管理的设计与实现

针对PVFS的元数据管理方法中,存在着系统效率低下的问题,提出了一种寄生式的元数据管理方法。在LinuxOs文件系统cxt2的内核基础上实现了该方法,提供了元数据操作功能。通过测试,并与原来的基于文件操作的管理方法进行了比较分析,结果表明,元数据操作的性能提高了4～8倍。     

用于并行计算的PC集群系统构建*

在注射成形模拟研究过程中,涉及材料的牛顿和非牛顿黏性流动模拟和注射成形后期的冷却过程模拟,以及随时间变化各处的压力变化等科学和工程领域经常应用大规模科学计算。随着基于网格的计算和数据处理日益复杂,很多计算一般PC系统无法满足要求,需要超级计算环境。因为不断追求更高的计算精度和日益复杂的对象而扩大计算规模,传统的串行处理方式难以满足这些要求。因此,现代高性能计算的低成本、高效率成为选择并行计算的解决方式。重点阐述如何构建一个用于并行计算的PC集群系统,结合实例阐明MPI的实现方法,以及对PC集群系统进行了性     

基于PC集群系统的MPICH大规模并行计算实现与应用研究

在Win2000 Server操作系统环境下采用MPICH并行技术，建立了基于PC局域网平台的并行集群系统，并通过VC 6．0调用消息传递库MPI函数完成了3个并行计算实例。符合MPICH规范的PC并行集群系统配置简便、系统稳定、界面友好、性价比高，能够持续利用计算机现有资源和大幅度提高计算效率。     

I/O performance of an RAID-10 style parallel file system

Without any additional cost, all the disks on the nodes of a cluster can be connected together through CEFT-PVFS, an RAID-10 style parallel file system, to provide a multi-GB/s parallel I/O performance.I/O response time is one of the most important measures of quality of service for a client. When multiple clients submit data-intensive jobs at the same time, the response time experienced by the user is an indicator of the power of the cluster. In this paper, a queuing model is used to analyze in detail the average response time when multiple clients access CEFT-PVFS. The results reveal that response time is with a function of several operational parameters. The results show that I/O response time decreases with the increases in I/O buffer hit rate for read requests, write buffer size for write requests and the number of server nodes in the parallel file system, while the higher the I/O requests arrival rate, the longer the I/O response time. On the other hand, the collective power of a large cluster supported by CEFT-PVFS is shown to be able to sustain a steady and stable I/O response time for a relatively large range of the request arrival rate.