分布式文件系统的动态负载均衡算法

为了解决分布式文件系统的负载均衡问题,研究了多种负载均衡算法,分析各种算法的优缺点.综合了静态权重轮询算法和动态负载均衡算法两类算法的优点,提出一种自适应的综合动态负载均衡算法,它实现简单、降低了获取反馈信息的开销且不失实时性.经过试验比较,该算法能有效地降低平均响应时间和提高吞吐量,负载的分配更为均衡.     

基于MooseFS的纠错码存储方法设计和实现

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的“热数据”按照多副本存储,不常用的“冷数据”按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。     

大型视频点播系统的一种负载均衡算法

讨论了大型视频点播系统的负载均衡技术,提出了一种新的负载均衡算法,该算法包含了优化的负载分配策略和一种新的影片冷／热播自动识别策略、存储调度管理及突发事件处理策略,实际测试表明该算法可行、有效。     

一种基于负载均衡的数据部署算法

针对采用分片存储方式且存储节点异构的媒体分发网络(Media Delivery Network,MDN),提出一种数据部署算法,使分布式节点之间达到负载均衡.算法为每个存储节点定义一个权值来描述其服务能力,通过一种反馈机制,即根据各存储节点偏离平衡状态的程度,来选择要部署数据的节点.实验结果表明:使用算法,不仅在数据增加、删除以及增删混合时,可使系统达到一个较低的负载不均衡度,而且对于各种原因导致的系统负载失衡,经过足够长的时间,都能使系统的负载不均衡度收敛到一个较小的数值.     

基于Hopfield神经网络的云存储负载均衡策略

针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络（HNN）的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

存储区域网络的动态负载均衡算法研究

针对存储区域网络（SAN）中负载变化的特性,提出了一种临界值动态任务负载分配算法。通过负载状态值准确地反映SAN中当前负载情况;通过调整临界因子来避免服务器重载的现象;通过测试获得算法中所需的参数,使配置更为简单合理。实验结果显示,该算法对大数据大密度的任务访问效果明显。     

云环境下分布式文件系统负载均衡研究

Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。     

负载均衡解决方案

服务器负载均衡(Server Load Balance)一般用于提高服务器的整体处理能力，它的最终目的是加快服务器的响应速度，从而全面的提高用户的体验度。从结构上可分为本地负载均衡(Local Server Load Balance)和地域负载均衡(Global Server Load Balance，全局负载均衡)。     

服务器集群负载均衡技术研究及算法比较

简要介绍了负载均衡技术的分类及其发展,重点介绍了服务器集群负载均衡技术及应用.并对评价负载均衡优劣的重要标准之一--负载均衡算法的种类做了详细介绍及优缺点比较.对近年来一些新的负载均衡算法做了介绍.最后,对服务器集群负载均衡技术的发展前景做出了展望和预测.     

基于流调度选择的DCN动态负载均衡算法

针对数据中心网络(data center network,DCN)动态调度导致的负载不均衡问题,提出了基于流调度选择的动态负载均衡(dynamic load balancing based on flow scheduling selection,DLBFSS)算法。该算法首先计算拥塞链路上各条大流的等价最短路径,并删除不满足流带宽需求的路径;然后计算剩余路径的可用吞吐量,选择可用吞吐量最大的路径作为最优调度路径;最后根据大流的带宽和最优路径的负载定义调度的拥塞概率,将拥塞概率作为大流调度选择的依据。实验结果表明,与传统ECMP（equal-cost multi-path）路由和现有大流调度算法相比,DLBFSS能够减小网络时延,提高流的带宽利用率,保证了更好的负载均衡。     

基于负载权值的负载均衡算法

为解决服务器集群负载分配不均的问题,综合考虑节点负载和节点性能信息,提出了基于负载权值的动态反馈负载均衡算法。利用负载权值选择分配负载的节点集合,保证性能高的节点分配到较多的负载;引入负载差值计算节点分配负载的概率,使得负载的分布更加均匀;通过负载增量及负载修正保持系统的稳定性。使用OPNET仿真软件进行测试,结果表明该算法能有效提高负载均衡效率,有较好的负载均衡效果。     

一种基于负载平衡的网络接入选择方法

针对异构无线环境,提出了一种基于负载平衡的网络选择算法。采用"终端辅助,网络决策"的策略,首先利用修正权重后的层次分析法得到网络参考向量,然后终端用户根据向量间的几何关系挑选出可接入网络集合,最后网络侧基于负载平衡的前提下为终端用户选择最终接入网络。通过仿真对比,验证了该算法的有效性。     

一种动态的入侵检测系统负载均衡算法

目前的入侵检测不仅需要模式匹配,而且需要协议异常检测,提出了一种新动态的负载均衡算法,采用两层结构,对网络流量按照服务类型进行初步划分之后分别对每部分流量进行二次分配,并对每种类型的流量进行相应的协议异常检测。该算法能在不牺牲系统性能的前提下有效提高网络入侵检测系统的检测效率,降低误检率,并可有效地适应网络流量的变化,降低漏检率。     

基于目标约束的分层动态负载均衡算法*

针对网格环境下的负载不均问题,提出了一种分层动态负载均衡机制,该机制采用随机服务模型描述网格任务流特性及其资源上的动态负载状态,将站点内负载平衡问题归结为目标约束规划问题。理论分析了分层负载均衡机制的有效性证明并设计了优化方案的求解算法,仿真实验结果显示,该分层负载均衡算法在平均响应时间、系统吞吐量方面优于以往的RBA算法和DBA算法。     

基于逐跳计算的分布式负载均衡算法

网络中流量的不断增长容易导致流量不均衡、网络拥塞,进而影响用户的体验。因特网服务提供商（ISP）通常采用优化开放最短路径优先（OSPF）权值（OPW）算法应对网络拥塞,然而该算法存在三个方面的问题：1）需要实际流量矩阵;2）容易导致网络震荡;3）OPW已经被证实为NP难题,并且需要采用集中式方法求解。针对OPW算法存在的问题,提出了一种基于逐跳计算的分布式负载均衡算法（DLBH）。首先,为所有节点设置虚拟流量;然后,根据虚拟流量计算所有链路的代价;最后,采用分布式算法计算最优路由。DLBH采用分布式方法解决网络拥塞问题,而OPW只能采用集中式方法解决网络拥塞问题,因此DLBH的扩展性优于OPW的扩展性。理论分析表明,DLBH的时间复杂度远远小于OPW的时间复杂度。实验结果表明,DLBH的最大链路利用率明显低于OPW算法的最大链路利用率,大幅降低了网络拥塞。     

基于预测机制的分级负载均衡算法

为解决服务器集群负载分配不均的问题,根据用户访问的请求类型,综合考虑用户历史请求引起的负载增量和服务器节点性能,提出了基于预测机制的分级负载均衡算法。负载均衡节点根据用户访问的请求类型建立一次指数平滑预测模型,对相应请求类型引起的负载进行预测,并将预测负载划分为低负载、正常负载、重负载等三个负载等级,根据负载等级对用户请求进行调度,从而实现负载均衡。使用OPNET仿真软件进行测试,结果表明该算法能有效提高负载均衡效率,有较好的负载均衡效果。     

一种改进的基于动态反馈的负载均衡算法

负载均衡是集群系统研究的一个重要问题,负载均衡算法是集群任务分配的核心,介绍了LVS中的负载均衡算法,讨论了常用算法的不足,在分析这些算法各自优缺点的基础上,提出了一种改进的基于反馈的负载均衡算法,算法引入一个负载容余参数以更准确地描述集群节点的负载状况,在考虑服务节点真实负载,处理能力的基础上,尽量简化负载均衡器的任务分配算法.测试结果显示该算法优于静态算法.