两级元服务器机群文件系统的负载平衡策略

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法：计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

一种机群文件系统的缓存模型

提出了一种新的机群文件系统缓存模型，它充分利用机群系统累积的系统资源和高速的互联网络，将文件系统元数据和内容数据分离，分别使用分布式元数据缓存和统一缓存模型进行管理。元数据缓存使用改进的广播一致性协议和LRU替换算法。内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存，并使用单拷贝优先LRU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法。实验结果表明，这两种缓存机制结合使用能极大地提高机群文件系统的性能。     

基于对象存储的机群文件系统数据通路

介绍基于对象存储的机群文件系统——LionFS所采用的关键技术,包括直接递送的数据传输机制以及基于前端负载访问信息的预取技术。性能测试表明,采用预取技术后数据通路可以“并发流水”,读带宽增长了70%,直接递送操作使读、写性能分别提高24%和28%。     

分布式存储系统中元数据系统的研究与设计

在分布式存储系统中,元数据服务系统是一个潜在的访问瓶颈。文章提出了一种基于分布式哈希函数和共享存储器思想的元数据服务器系统,并且与LazyHybrid(LH)方法进行了对比研究,通过仿真测试表明其具有较高的元数据操作吞吐量和减少了元数据服务器之间元数据移动及易扩展等特性。     

最新SSD技术与PC存储系统结构改进的研究

硬盘并没像PC的“摩尔定律”一样发展,硬盘成高性能PC发展的绊脚石。新兴的SSD技术日益成熟,这种新技术将改进PC系统结构。本文介绍最新SSD技术的进展,并利用SSD技术对传统的PC存储系统结构进行改进的几种方案及优劣比较。     

集群多媒体存储系统的两级元数据管理

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析.     

DCFS2的元数据一致性策略

随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势.基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题.机群文件系统DCFS2采用分布式日志技术和改进的两阶段提交协议解决了分布式元数据处理下元数据的一致性问题.性能测试结果表明,DCFS2所采用的基于分布式日志的元数据处理策略能够提供高的I/O性能,并能够保证在元数据服务器失效后文件系统快速恢复.     

基于高速通信协议的COSMOS机群文件系统性能研究

作为曙光3000超级服务器的重要组成部分,COSMOS机群文件系统对机群文件系统协议,结构及性能优化等问题进行全面深入的探讨,首先描述了基于曙光3000机群高速通协议BCL－3的COSMOS文件系统的实现,然后引入并发带宽利用率,描述了通信与I／O对机群文件系统性能影响程序,最后介绍了有关性能实验并对实验结果作出解释。     

一种适应节能的云存储系统元数据动态建模与管理方法

云存储规模的不断扩大以及设计时对能耗因素的忽略使其日益暴露出高能耗低效率的问题,并且此问题已经成为制约云计算与大数据快速发展的一个主要瓶颈.从云存储系统的元数据信息的组成与组织方式考虑系统的节能改进与适应性问题,提出适应节能的元数据建模与管理方法,将存储磁盘及节点状态、数据块存储位置与状态等信息纳入到新的元数据模型中.围绕节能的元数据模型设计了适应该模型的节能模式切换算法,有效的解决了现有算法与节能算法或策略的不匹配问题.实验结果表明:适应节能的元数据模型与算法能够提高系统磁盘级的能耗利用率.     

曙光机群文件系统DCFS负载平衡策略

目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡维护结构RLA(RingbasedLoadbalanceArchitecture)。     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。     

一种集群文件系统元数据管理技术

本文研究集群文件系统的特征，提出了一种分布式元数据管理技术。该技术通过哈希方式分布元数据对象、自侦测自适应和连续相邻节点备份的方法，实现了元数据的动态扩展和高可用。在我们研制的HANDY文件系统中采用了这项技术。测试结果说明，HANDY的元数据扩展性是令人满意的。实现了动态可扩展和高可用的设计目标。     

新型虚拟文件存储系统的设计

随着用户存储和使用的文件数量和种类的急剧增长,现存的文件存储系统渐渐不能满足有效管理这些信息的需求.传统文件系统遵守严格的层次结构;以树状结构来组织文件;用户只能以单一化的存储路径来访问文件.为了解决这些不足,设计和开发了VFSS,它充分利用被存储文件的元数据信息,将文件存储系统和数据库技术相结合,以网状方式组织文件.VFSS提供丰富的用户接口,同时支持传统文件系统操作.     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

一种集群多媒体存储系统的研究与设计

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统（cluster multimedia storage system,CMSS）,CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡．在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析。     

一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server, MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.