基于对象存储系统的动态负载均衡算法

负载均衡是大规模基于对象存储系统必须要考虑的重要问题。本文为此以系统总响应时间为代价函数,以对象被访问频率为依据,建立了一种将对象复制与对象迁移统一在内的动态负栽均衡模型,并充分利用存储设备的智能实现系统的动态负载均衡。仿真结果表明,在存在大量热点访问和对象分布不均匀的情况下,启用对象复制和对象迁移的负载均衡算法能最大程度地减少系统的平均总响应时间。     

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

基于对象存储系统中属性管理的研究与实现

针对现有属性管理方法上的缺陷和不足,提出了一种新的属性管理方法--哈希桶.哈希桶方法对对象的属性进行集中管理,不仅降低了管理存储成本,更有效地提高了系统的吞吐率.经过仿真测试表明,哈希桶对象属性管理方法性能远优于现有的属性管理方法.     

对象存储系统的研究

SCSI, ATA/IDE等现有的基于块的存储接口已成为提升存储系统性能、降低存储管理成本的障碍。对象存储技术有望改变现状，成为下一个标准存储接口，使得建立拥有自主管理、数据共享、安全和智能化等特征的存储网络成为可能。该文分析对象存储的特点，设计并实现一个简单的对象存储系统原型，该对象存储系统遵照对象存储的OSD T10标准，由客户端、目标端和IP网络构成，采用iSCSI作为通信协议。读写性能测试分析结果表明，该系统可以满足实际需求。     

对象存储系统形式化研究

对象存储系统是近来兴起的存储领域研究热点,它改变了传统的存储模式,用对象接口取代了传统的块接口。作为下一代互联网存储模式的关键技术——对象存储,它的出现使得海量信息存储、数据异构灵活共享、存储系统的可扩性、信息安全等问题迎刃而解。对象作为对象存储系统的基本单位,它的管理将是系统管理的关键。为了更好地研究对象存储系统对象的管理,本文对对象的形式化做了系统的研究。首先根据对象存储系统的实际给出了对象存储系统中对象的形式化描述;接着我们给出了对象存储系统的形式化描述;最后讨论了对象存储系统中对象间的关系,并通过这些对象间的关系推导出一种对象存储系统模式。对象存储系统的形式化研究将有助于我们对对象管理做进一步研究。     

基于对象的存储系统对象迁移策略

对象存储系统是下一代网络存储重要组织模式,对象管理是对象存储系统的关键技术之一。本文对对象存储系统中的对象迁移策略进行了系统的研究,提出了可变阈值和域长的动态反馈调整模型,以此来确定存储对象迁移的时机和目标对象存储设备的选取。另外,本文还利用Petri网工具对对象存储系统存储对象的迁移进行建模分析,给出了存储对象迁移控制的Petri网模型。但是随着存储系统存储节点的无限增加,Petri网模型将会无限复杂和庞大。为了减少Petri网模型控制模型的复杂度,又引入有色Petri网理论,实现了对存储对象迁移控制Petri网模型的简化。该模型同样很好地实现了对象存储系统中对象迁移控制的建模分析。这些研究对我们在建立对象存储系统时起到了很好的帮助作用。     

对象存储系统中对象查找及标识符分配管理策略

对象存储系统是一种新的网络存储体系结构,它结合了存储区域网SAN的高性能和网络附加存储NAS的跨平台的优点.对象存储系统的对象查找的快慢直接影响系统的性能.针对对象存储系统的对象查找是通过对象ID找到对象Onode.分析研究了对象文件系统中的对象查找策略及对象号分配策略,提出元数据服务器与对象设备协同管理对象ID,采用连续的对象号分配策略改进对象存储系统的对象查找方法,提高了对象存储系统的对象查找速度.     

对象存储系统中属性管理方法研究与实现

在对象存储系统中,对象属性用于描述数据特征以及安全策略.系统性能的改善可以通过对象属性的合理管理来实现.目前,属性存放在固定大小的数据结构中,这与属性的可扩展性相违背.针对现有对象属性放置与管理方法的不足,提出了对象属性基于扩展Hash的管理方法,以及属性的放置策略、缓冲策略.通过分析仿真测试的结果,发现在处理大量属性操作时,对象文件系统性能退化很严重.但是,用扩展Hash方法进行属性管理时,系统性能不退化,比对象文件系统更具优势.     

一种高性能对象存储系统

当大量用户并行访问对象存储设备(OSD)时,OSD可能成为限制系统性能的瓶颈。该文提出一种基于网络磁盘阵列的对象存储系统,网络磁盘阵列包括外设和网络2个通道,可直接与客户端进行数据传输。该系统具有基于对象存储系统的特点,且系统容量可扩展性和整体性能较高。     

基于对象存储系统的服务质量框架研究

简要介绍了基于对象存储系统的框架结构,并分析了系统的特点。在结合网络QoS和存储QoS的基础上,讨论了整个系统的QoS要求。针对这些要求,提出基于对象存储系统的QoS框架,分别在对象属性、OSD命令和OSD设备上得以实现。     

一种对象存储设备中自适应动态预取策略

在对象存储系统中,对象存储设备具有很高的智能和处理能力,它负责对象及其属性的数据组织和管理,向外提供基于对象的访问接口。每个对象均具有属性,它反映了对象的某些特征。通过为每个对象自定义一个预取属性页,对用户访问对象存储设备的规律进行智能的自我学习,从而实现一种高效的、自适应的动态预取算法,可以提高对象存储设备的预取命中率,从而提高对象存储设备的性能。     

一种基于跳跃hash的对象分布算法

如何有效地将海量数据分布到存储节点是存储系统首要解决的问题.本文提出的MJHAR（Matrix-basedJump Hash Algorithm for Replication data）对象分布算法简洁高效,支持权值和数据冗余机制.本算法创造性的将节点映射到二维矩阵,对象的分布、定位只需从矩阵的行内、行间计算目标节点的行号和列号即可.理论证明本算法满足公平性、自适应性、紧凑性、节点变化对象迁移量较小的特点,同时实验结果表明本算法的计算时间比一致性hash算法快40%,比跳跃hash算法快23%.极大降低了计算时间,并且比一致性hash算法对象分布更加均匀.     

基于EVMS的带外虚拟存储系统结构

分析当前网络存储系统存在的问题,给出一种基于企业卷管理系统技术的带外虚拟网络存储系统基本结构。分别阐述该存储系统的客户端、内部数据的读/写操作、存储系统在线存储容量扩展、负载均衡和元数据异步更新等算法的设计思想与实现方法。     

集群式VoD系统中文件分块存储策略

在VoD点播中,用户主动中断点播会造成影片不同时间段的部分被访问的概率不同,给传统的分块策略带来了负载不均衡问题。该文分析用户在VoD点播时中断点播的行为模式,在此基础上建立分析点播中断概率的模型,提出一种改进的分块存储策略。仿真表明,改进的策略能够更好地实现负载均衡,提高系统运行效率。     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

基于OBS的分布并行海量地形数据服务系统

海量地形数据的存储与管理是大规模地形实时漫游系统的关键。该文提出一种基于对象存储的分布式并行地形数据服务系统(DPTSS),采用自治的存储对象存储和管理地形块数据,实现了控制路径和数据路径分离。通过元数据集群提供高效率和高可用的元数据服务,以及基于对象的存储集群实现并行的地形数据块传输服务,提供高吞吐率和高带宽的地形数据服务。对比实验表明,DPTSS在较低的TCO情况下能提供高性能的地形数据服务。     

机载公共设备管理系统中的自适应调度算法

多处理机任务分配和调度是机载公共设备综合管理系统中的一个关键技术问题。采用全局调度、局部调度和反馈调度相结合的方法,实现不确定性情况下的混合任务动态调度。通过改进免疫克隆算法进行静态调度,静态调度的结果作为动态分配的初始值,动态调度具有检测、分类、自适应反馈功能,适合混合任务共存以及变化的任务负载。     

WSN中基于树型标号系统的分布式路由算法

针对无线传感器网络中数据中心存储的路由问题,提出一种基于树型标号系统的分布式路由算法。将网络中的节点组织成以参考节点为根的树型结构,通过比较目的节点标号与邻居节点标号,选择转发节点,实现数据路由。分析与仿真结果表明,该路由算法的空间开销较低、路由效率较高,并且生成的路径接近最短路径。