一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用．针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性 Hash结构的元数据服务器（metadata server ,MDS）集群化方案———CH‐MMS （consistent Hash based metadata management schema）．CH‐MMS 在一致性 MDS 集群上引入虚拟MDS（Virtual MDS）,有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量．阐述了CH‐MMS的体系结构,介绍了核心数据结构layout‐table、虚拟MDS结构、延迟更新机制及相关算法,并对CH‐MMS扩展性、容错性作了定性分析．最后通过原型系统和模拟实验说明,CH‐MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求．     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

网络计算机集群负载均衡机制的研究

目前使用单台网络计算机应用服务器难以满足大量用户的并发访问需求,在网络计算机系统中引入集群/负载均衡技术是解决这一问题的理想途径.研究网络计算机集群的负载均衡机制.设计和实现了适合于网络计算机应用模式的负载评估方法及负载状态更新机制,并在此基础上提出和实现了一种基于分布式协商的动态负载均衡算法.     

基于目录迁移与复制的元数据服务系统动态负载均衡策略

传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效解决了传统的单一利用目录迁移来进行负载均衡容易造成"抖动"的缺陷,提高了系统的效率和稳定性。     

基于共享存储池的元数据服务器机群的设计研究

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能.     

SDN中基于生物启示的控制器负载均衡机制

针对SDN多域部署中存在子域控制器负载不均衡现象,基于生物领域物种遗传和种群迁徙的启示,依据交换机迁移,提出了SDN控制器负载均衡机制.首先综合网络中主要开销,应用生物遗传的思想,设计了最优迁移域选择算法,得到最优迁入/迁出域;同时类比种群迁徙现象,对交换机应用存活期和淘汰机制,设计了交换机竞争迁移算法,均衡了子域交换机数量.仿真结果表明,与现有算法相比,迁移域的选取过程得到优化,均衡子域控制开销,有效保证了控制器负载的均衡分布.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

电能表数据采集终端负载自适应均衡方法研究

针对电能表数据采集终端数据量及访问量高导致的负载失衡问题,研究基于元模型的电能表数据采集终端负载自适应均衡方法。将电能表数据采集终端的电能表数据作为模型元数据,经数据提取、转化、加载处理后,将处理完成的数据存储至元数据仓库内。在元数据负载大小未知条件下,创新性地采用基本负载均衡算法分配元数据仓库中元数据的负载,以求解元数据的负载量。当负载过大时,通过迁移负载低节点的目录子树,均衡处理了元数据的负载量,实现了电能表数据采集终端访问负载均衡。实例测试结果表明,该方法应对速度快。该方法降低了电能表数据采集终端负载,解决了元数据请求激增问题,提高了集群负载的均衡程度。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

带宽和时延受限的流媒体服务器集群负载均衡机制

流媒体服务器集群的整体负载能力很大程度上受其服务时延和带宽负载均衡程度的影响.因此如何提高服务实时性和均衡带宽负载是提升流媒体服务器集群服务能力的关键.为此,提出了一种带宽和时延受限的流媒体服务器集群负载均衡机制.该机制通过将服务器带宽和任务带宽的离散化、区间化,构建服务器与任务状态集,再利用遗传算法离线计算并存储各个状态下的最佳分配方案,使得在有效地将不同带宽需求的任务分配到各个服务器上优化集群负载的同时,加快在线任务分配方案的计算速度,提高时效性.仿真结果显示,该机制能够在拥有与轮询算法、最小连接数算法相似的计算时延的基础上,有效均衡带宽负载,降低失败任务数,从而提升整体服务质量和能力.     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

面向SDN负载均衡的交换机自适应迁移策略

针对软件定义网络(SDN)多域部署中存在的子域控制器负载不均衡问题,提出了一种面向SDN负载均衡的交换机自适应迁移策略。首先,通过检测各子域控制器的负载,在网络中基于自适应遗传算法选择迁入和迁出域,可以实现全局最优迁移域的选取;然后,应用生存期和淘汰机制将迁出域中的高负载度交换机迁移至迁入域,有效地均衡了控制器负载。仿真结果表明,与现有的交换机迁移算法相比,迁移效率提升了19.7%,各个子域控制器的负载和交换机的数量到达了均衡,增强了网络的稳定性。     

一种改进的动态告警负载均衡算法

负载均衡通过将大量的并发访问请求转发到多个服务器分别进行处理,以提高web集群的整体吞吐量.现有的负载均衡算法存在着引用负载因素过少、负载计算过于复杂、节点的负载抖动现象过于严重等问题.本文提出一种改进的动态告警负载均衡算法,基于请求类型、节点工作能力和实时负载值来确定转发目标.该方案实时监测各节点的负载状态并实施周期性反馈与动态告警,既保证了负载信息的实时性与有效性,又减少了负载计算量;采用RED方法校正负载状态的判定,避免了因为负载状态的误判而引发的负载不均,从而减小了负载抖动现象.模拟实验结果表明,改进算法增加了web集群系统的吞吐量,并且明显改善了负载均衡度.     

集群系统中进程迁移的研究

进程迁移对集群系统的动态负载均衡、容错和系统管理具有重要意义.说明分布式系统中进程迁移的目的和一般步骤,对比了两个典型的集群操作系统Kerrighed和openMosix中的进程迁移机制,分析其对系统性能的影响.     

应用系统中集群技术的实现

面对Internet访问者数量的快速增加，网络服务器（特别是Web服务器）需要具备提供大量并发访问服务的能力，对于提供大负载Web服务的服务器来讲，CPU，I／O处理能力很快会成为瓶颈。简单的提高硬件性能并不能真正解决这个问题，因为单台服务器的性能总是有限的，而且是网络请求具有突发性，当某些重大事件发生时，网络访问就会急剧上升，从而造成网络阻塞，利用集群技术在应用系统中实现负载均衡可以有效地解决这个问题。     

STLBM:一种基于服务自主迁移的网格负载均衡模型

体育信息化系统具有时间性和突发性等特点,访问负载难以达到均衡,因此对系统性能和服务质量等产生巨大影响.本文针对体育信息化系统的以上需求,提出了基于网格服务自动迁移的负载均衡解决模型-STLBM,可以有效提高体育信息化系统的性能和服务质量.该模型首先将服务迁移技术引入到体育信息化当中,提出了这类系统的负载衡量标准,并进一步给出了基于负载阀值的迁移策略,通过网格服务的迁移和复制,达到负载均衡的目的,从而实现资源合理有效的使用.实验结果显示,该模型可以明显均衡体育信息化网格各资源的使用效率,改善服务质量.     

基于模糊逻辑技术的中间件负载平衡机制

针对当前基于中间件负载平衡机制中负载定位不够准确、监测粒度过大等问题,基于模糊逻辑技术提出一种更精确、更细粒度的负载平衡系统及其负载平衡机制。负载平衡系统的节点负载信息记录表记录系统中所有节点从模糊推理得出的负载状态信息,负载转发表记录服务节点与相应服务请求者之间的关系。实验结果表明,该负载平衡机制能有效地定位过载节点,较好地实现集群中的负载平衡服务。     

基于Linux集群的socket迁移技术

以MOSIX,Condor等为代表的负载均衡集群实现了进程迁移技术.但是目前这项技术中由于没有实现对套接字这一重要的资源的迁移支持,大大限制了它的应用范围,特别是对于网络应用程序的迁移.MOSIX是通过其固有的deputy/remote机制实现间接的支持,而Condor根本就不支持网络程序的迁移.文中讨论了Linux集群中的socket迁移问题,然后分析了一种基于CRAK集群系统的套接字迁移系统MIGSOCK的实现机制及未解决的问题, MIGSOCK通过增加一个Linux Module和少量修改TCP层的方式,在Linux负载均衡集群中实现了内核级可迁移socket,为解决这一问题提供了一种实际的可参考的解决方案.