集群流媒体文件系统MFS设计与实现

文章描述了WanLan集群视频服务器上的集群流媒体文件系统(MFS)的设计与实现。MFS是一种支持MPEG文件格式的分布式流媒体文件系统，它由MFS的客户端、管理节点、数据节点以及元数据服务节点组成。MFS流媒体集群文件系统实现了单一系统的逻辑映像、数据和元数据的高可用以及系统自动配置。     

面向云计算的集群文件系统性能对比测试

虚拟机使用集群文件系统是云计算主要架构模式之一,主要分为共享式集群文件系统和分布式集群文件系统两大类.其中,后者是近年来学术界关注的热点,在产业界也逐渐得到深入应用.采用测试法,选取fio作为测试工具,以IOPS作为度量指标,对比两类集群文件系统的性能优劣.实验结果显示,在单物理机节点配置下进行单台虚拟机IOPS写性能测试,共享式文件系统要好于分布式集群文件系统大约40%,但读性能要差1.5倍;对于多台虚拟机并发测试,则当支持虚拟机运行的共享式/分布式集群文件系统规模小于16台时,前者和后者性能基本一致.否则,后者会明显好于前者.     

MOSIX集群系统中DFSA机制研究

MOSIX是基于Linux的集群计算系统,它通过抢占式进程迁移使负载在集群节点间达到均衡.DFSA(Direct FileSystem Access)是一种能够提高集群文件系统性能的机制,它允许迁移的进程直接访问当前节点上的文件.MOSIX通过其文件系统MFS(MOSIX File System)引入了对DFSA的支持,实现了把进程迁移到数据的策略.文中简要介绍了MOSIX系统,然后对DFSA机制进行了分析,最后研究了MOSIX中DFSA机制的实现.     

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。     

MOSIX集群系统中DFSA机制研究

MOSIX是基于Linux的集群计算系统,它通过抢占式进程迁移使负载在集群节点间达到均衡。DFSA(DirectFileSystemAccess)是一种能够提高集群文件系统性能的机制,它允许迁移的进程直接访问当前节点上的文件。MOSIX通过其文件系统MFS(MOSIXFileSystem)引入了对DFSA的支持,实现了把进程迁移到数据的策略。文中简要介绍了MOSIX系统,然后对DFSA机制进行了分析,最后研究了MOSIX中DFSA机制的实现。     

大规模集群文件系统LCFS的元数据管理与访问机制

文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

网络存储性能改进的文件系统实现方法

在多个存储节点构成的集群存储系统中，结合应用提高网络存储性能的目标就是利用文件系统方案来实现的．本文在相关研究的基础上重新讨论改进网络存储性能的文件系统方案．这个方案同时利用网络分布文件系统和网络分带文件系统的优点，采用非分带和分带文件数据分布混合应用．我们讨论了对应该方案的不同两级存储分配策略和相关参数的选择，并以HP97560性能参数为基础，进行理论分析．应用文件大小分布的对比以及模拟测试结果显示两级存储分配策略和相关参数选择的合理性．     

Filter Cache:一种提高Lustre I/O性能的方法

高性能计算系统需要一个可靠高效的并行文件系统.Lustre集群文件系统是典型的基于对象存储的集群文件系统,它适合大数据量聚合I/O操作.大文件I/O操作能够达到很高的带宽,但是小文件I/O性能低下.针对导致Lustre的设计中不利于小文件I/O操作的两个方面,提出了Filter Cache方法.在Lustre的OST组件中设计一个存放小文件I/O数据的Cache,让OST端的小文件I/O操作异步进行,以此来减少用户感知的小文件I/O操作完成的时间,提高小文件I/O操作的性能.     

影响文件系统性能的若干因素的实验

影响文件系统的因素有很多,该文从不同访问模式、多通道硬件配置、文件系统老化等方面设计试验,利用多种性能评测工具,对EXT3、XFS两种本地文件系统进行试验,分析这些因素对本地文件系统性能的影响以及作为NFS服务器端的文件系统时,对NFS性能的影响。在试验过程中,编写了测试文件系统元数据性能的Thput benchmark以及使文件系统能够快速老化的工具FastAging。通过分析试验结果总结出针对应用中不同的访问模式配置最优的文件系统的解决方案,使用户能够获得最大的I/O性能。