首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到16条相似文献,搜索用时 118 毫秒
1.
本文研究集群文件系统的特征,提出了一种分布式元数据管理技术。该技术通过哈希方式分布元数据对象、自侦测自适应和连续相邻节点备份的方法,实现了元数据的动态扩展和高可用。在我们研制的HANDY文件系统中采用了这项技术。测试结果说明,HANDY的元数据扩展性是令人满意的。实现了动态可扩展和高可用的设计目标。  相似文献   

2.
随着存储数据的爆炸性增长和集群技术的快速发展,集群文件系统的研究越来越成为一个焦点,该文设计并实现了一个多级集群文件系统(MCFS)的全局命名空间,MCFS系统采用元数据分层管理思想,建立一个统一的元数据树,从而使整个系统运行在一个松耦合、异构的环境下实现全局命名空间,提高了系统的并行性和可扩展性。在介绍了MCFS命名空间管理的同时,进行了相应的试验测试和性能分析。  相似文献   

3.
针对当前集群文件系统只支持静态扩展、不提供高可用性等问题,提出一种基于全局哈希表的动态扩展协议-GHT.利用该协议实现一种支持节点动态扩展的集群文件系统HANDY,重点阐述了协议的设计、算法和理论分析.实验数据证明.HANDY集群文件系统具有良好的动态扩展性和可用性,减小系统的管理和维护开销.  相似文献   

4.
大规模集群文件系统LCFS的元数据管理与访问机制   总被引:2,自引:0,他引:2  
文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。  相似文献   

5.
郑法  郑东 《计算机工程》2004,30(Z1):101-102
从解决高性能计算机I/O瓶颈面临的问题着手,详细分析了并行文件系统(PVFS)的结构、存取机制、管理机制和工作机制,为高 性能集群文件系统的建立提供了一种行之有效的解决方法。  相似文献   

6.
集群系统提供了强大的批处理和并行计算的能力,具有高性能、高可扩展性、高吞吐量和易用性等特点,但是I/O性能和处理器性能的不匹配使得I/O成为许多应用的瓶颈,特别是处理大量数据的应用就更是如此。针对集群系统当前的现状,克服该瓶颈的常用方法就是采用一种并行虚拟文件系统(PVFS)技术。随着Linux群集系统性能的持续提高,高速并行文件已成为并行计算的一个必备部分。并行虚拟文件系统(PVFS)为高性能计算(HPC)群集和大型I/O密集并行应用提供了这样一个文件系统。首先介绍了PVFS的结构;然后研究了PVFS的存取和管理机制;最后分析,PVFS的工作原理。  相似文献   

7.
通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。  相似文献   

8.
并行文件系统已作为超级计算机提高I/O带宽最常用的方法之一,鉴于超级计算机之间体系结构的差异,其设计和实现方法也不同。本文就IntelTFLOPS的并行文件系统(PFS)作一介绍。  相似文献   

9.
该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。  相似文献   

10.
罗秋明  欧阳凯 《计算机工程》2006,32(12):50-51,54
PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。  相似文献   

11.
随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(cluster multimedia storage system,CMSS),CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡.在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析。  相似文献   

12.
介绍了可扩展机群文件系统TH-CluFS的设计与实现.TH-CluFS基于共享文件模型,采用无服务器的对等体系结构.同时,为了有效利用杌群系统累积的资源,TH-CluFS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制,以及一种茚治的I/O负载平衡方法.实验结果表明,TH-C1uFS很好地统一了机群文件系统在单一系统映像、高性能以及可扩展性等方面的需求.  相似文献   

13.
并行文件系统集中式元数据管理高可用系统设计   总被引:4,自引:0,他引:4       下载免费PDF全文
本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户是完全透明的。最后,本文阐述了各个模块的实现,并对该系统进行了可靠性分析。  相似文献   

14.
提出了一种新的机群文件系统缓存模型,它充分利用机群系统累积的系统资源和高速的互联网络,将文件系统元数据和内容数据分离,分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存,并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明,这两种缓存机制结合使用能极大地提高机群文件系统的性能。  相似文献   

15.
基于SSD的机群文件系统元数据存储系统   总被引:1,自引:0,他引:1  
随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.  相似文献   

16.
通过对Jini技术和Web服务器集群的工作原理的介绍,分析了Jini构造Web服务器集群的可行性和具有的优势;提出了基于Jini技术构建Web服务器集群的实现模型,并给出了在构建Web服务器集群的过程中实现高可用性、负载平衡的解决方案。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号