On Load Balancing Approaches for Distributed Object Computing Systems

Distributed object computing systems are widely envisioned to be the desired distributed software development paradigm in the near future due to the higher modularity and the capability of handling machine and operating system heterogeneity. Indeed, enabled by the tremendous advancements in processor and networking technologies, complex operations such as object serialization and data marshalling become very efficient, and thus, distributed object systems are being built for many different applications. As the system scales up (e.g., with larger number of server and client objects, and more machines), a judicious load balancing system is required to efficiently distribute the workload (e.g., the queries, messages/objects passing) among different servers in the system. Several such load balancing schemes are proposed recently in the literature. However, while the rationales and mechanisms employed are dramatically different, the relative strengths and weaknesses of these approaches are unknown, making it difficult for a practitioner to choose an appropriate approach for the problem at hand. In this paper, we describe in detail three representative approaches, which are all practicable, and present a quantitative comparison using a real experimental distributed object computing platform. Among these three approaches, namely, JavaSpaces based, request redirection based, and fuzzy decision based, we find that the fuzzy decision-based algorithm outperforms the other two considerably under a wide range of different practical scenarios.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

A Uniform Framework for Dynamic Load Balancing Strategies in Distributed Processing Systems

Load balancing plays a central role in processor utilizations in distributed systems. Several strategies have been proposed in the literature to achieve load balancing. Usually, these strategies attempt to achieve a tradeoff between reducing the execution time of an application and minimizing the synchronization and the communication overhead. In this paper, we present a general model in which load balancing decisions are reached by enforcing performance metrics which may be adapted to reflect the specific requirements of different environments. Many of the load balancing schemes that have been suggested in the literature can be viewed as specific instances of the general framework presented in this paper. The basic scheme in this framework uses a load contention number that accounts for the load of the processors, the communication cost and the distance among processors. It is meant to be adaptable to the overall load on the system, the load on the communication devices, the run time characteristics of the tasks, and the configuration of the system. Furthermore, its implementation is not computationally complex. Thus, the gains made by load balancing are not overshadowed by the load balancing cost.     

分布存储VOD系统的负载均衡设计及其仿真

为了满足日益增长的VOD用户数量,设计了一种多服务器组成的分布式VOD系统,系统中服务器的负载均衡问题成为亟待解决的问题.为了解决负载均衡问题.从用户行为分析入手,建立了用户行为的数学模型.根据用户的节目选择分布以及点播时长分布,制定了媒体文件按时间分块并分布存储在多服务器上的策略,并根据热度信息的变化,每隔一段时间对各服务器上存储的内容进行重发布,以此达到各服务器的负载均衡.实现了仿真系统,并设计出用户行为仿真程序进行用户点播行为仿真.仿真实验结果显示,使用该重发布策略后,各服务器达到很好的负载均衡,说明策略是有效的.     

基于Ceph对象存储集群的负载均衡设计与实现

海量并行数据访问ceph对象存储集群时,会出现访问数据错误率增加和访问速率降低的问题.首先设计和部署ceph对象存储集群,根据用户请求数设计对象网关节点,实现用户数据的交互功能,然后在服务节点安装和部署haproxy,实现服务节点的负载均衡功能,能够降低服务节点的压力,最后设计和实现四种基于ceph对象网关节点的存储集群.通过大量对比测试,本设计方案的数据访问错误率降低0.96%,用户数据的访问速率提升74.04%.     

分布式系统中网络负载平衡的研究

分布式系统可以有效地减少处理瓶颈,其具有较强的容错能力,得到了相当广泛的研究和应用。本文介绍了分布式系统的定义和负载平衡技术,其中重点讨论了动态负载平衡的策略。最后,根据分布式应用的特点,提出了一种分布式系统网络负攀平衡的解决方案,并给出了算法描述和模型。     

Load Balancing in Distributed Parallel Systems for Telecommunications

Communication networks pose difficult problems for the soft limit real-time control of calls and services. For such highly parallel distributed systems the system observation limits are rigorously treated. As a consequence a parallel processing node model and the load parameters and balancing potential are analysed by the use of a suitable simulation model. Based upon the simulation results, new load balancing algorithms are developed for the respective problem class. Received: December 23, 1998     

大规模网络存储系统的数据布局算法研究

可扩展和可靠的数据管理是实现大规模网络存储系统的关键技术,需要一个能够自适应存储规模变化、公平、冗余、高可用的数据布局算法。本文根据不同的设计目标以及存储环境的同构和异构特性,分析了四类布局算法:同构的布局算法、非冗余的异构布局算法、冗余的异构布局算法和高可用的布局算法。对现有布局算法存在的问题进行了讨论,并指出了未来的研究方向。     

大规模网络存储系统的数据布局策略研究

如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要公平、冗余、自适应、高可靠以及高可用的数据布局策略.根据大规模网络存储系统体系结构的发展,详细介绍了P2P系统、SAN存储系统以及对象存储系统的数据布局策略,最后总结和比较了各种布局策略的优缺点,并指出基于数据重要性以及访问热度的数据布局策略等是未来可能的研究方向.     

分布式计算机系统中的负荷平衡算法

本文阐述了分布式计算机系统的负荷平衡问题。在能够达到负荷完全平衡和负荷只能近似地达到平衡的两种情况下，本文提出了时间复杂性为Ｏ（ｎ）的负荷平衡算法。最后还讨论了具有不同处理机速度的负荷平衡问题以及求解平衡的算法。     

存储系统负载平衡机制的评价与分析

负载平衡是提高大规模存储系统资源和能源使用效率,进而降低系统建设成本和运行成本的重要手段.然而,该领域相关工作多侧重于具体技术方法的研制和改进,缺乏不同方法间的比较和评价.通过对存储系统负载平衡方法的仿真与分析,揭示了现有负载平衡方法所面临的主要挑战,也为工程上各方法的选择提供了参考依据.     

分布式数据流处理系统的动态负载平衡技术

设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。     

基于异构分布式存储系统的动态反馈负载均衡技术

Samba分布式存储系统通过根服务器向用户提供全局名字空间,当用户提出访问请求时,根服务器只按照静态的方式返回逻辑名对应的物理目标位置.当存在多个物理目标时,大多数用户的访问请求都将被定位在一台服务器上.多目标只保证了服务可用性,而没有对系统的负载均衡作出贡献.针对这一问题,提出了一种基于服务器性能指标的动态反馈负载均衡策略,并给出了基于Samba分布式存储系统的实现方案,旨在提高整个系统的存储能力、网络吞吐率、服务平均响应时间等指标.实验表明,优化后系统的I/O性能得到了很大提升.     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

Scalable Parallel and Distributed Expert Database Systems with Predictive Load Balancing

Much prior work in AI on various attempts to speed up rule-based systems by parallel processing has been reported. Unfortunately, many of these results indicate that there is limited parallelism to be found when rules are applied to relatively small amounts of data. Thus, one can predict that much greater parallelism can be extracted when rules are applied to large amounts of data. However, traditional compile-time parallelization strategies as developed for main-memory based systems do not scale to large databases. We propose a scalable strategy for the efficient parallel implementation of rule-based systems operating upon large databases. We concentrate on load balancing techniques in a synchronous model of rule execution, where the variance in runtime of the distributed sites is minimized per cycle of rule processing, thus increasing utilization and speedup. We demonstrate that static load balancing techniques are insufficient, and thus low overhead dynamic load balancing is the key to successful scaling. We present a form of dynamic load balancing that is based upon predicting future system loads, rather than conventional demand-driven approaches that monitor current system state. We analyze a number of possible predictive dynamic load balancing protocols by isoefficiency analysis to guide the design of a parallel database rule processing system.     

分布式多媒体系统中多媒体对象交换管理器的设计与实现

给出了分布式多媒体系统中多媒体对象交换管理模块的设计及实现的方法,并详细讨论了多媒体对象交换管理模块和结构模型中的其它模块之间的相互作用关系。     

并行VOD系统中的动态平衡策略研究与实现

本文介绍了VOD服务的研究现状,对并行VOD系统作了分析,在此基础上对动态平衡方法进行了分析,提出了自己的动态平衡策略-SBF策略,并给出了SBF策略的算法实现及测试试验。     

分布式多媒体系统的设计要点

分布式多媒体系统由于其管理的信息的特点,其设计和实现在许多方面不同于一般的分布式系统。本文根据国内外研究的情况,从系统结构、服务器、客户机、网络等方面讨论分布式多媒体系统的设计要点,重点讨论服务策略和服务质量控制问题。