基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

分布式存储中基于局部修复码的负载均衡方法

针对分布式存储中热数据访问性能低下的问题,提出一种基于局部修复码（LRC）的负载均衡方法,采用编码的方式规避节点的集中式访问,并提高热数据的访问效率。首先,利用平衡不完全区组设计（BIBD）构造一类适用于小规模存储系统的特殊LRC,从而为编码数据提供多种访问方式;然后,分别基于里所（RS）码和随机阵列码将LRC推广到更大规模,并使它满足存储系统一定的容错需求;最后,提出一种热数据访问算法以降低热数据的访问压力,并结合合理的数据布局方案实现存储系统在高频访问场景下的负载均衡。理论分析和实验结果表明,所提方法能以极小的代价实现负载均衡,明显优于传统方法中利用多副本及最大距离可分（MDS）码实现的负载均衡方法,尤其是解决了因冷热数据访问不均带来的负载失衡问题,可以有效提高热数据存储系统的访问效率。     

海量数据分布式存储与检索优化分析研究

本文主要是针对关系型数据库的信息管理系统在处理海量数据的存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据的存储与检索给出可行的优化配置解决方案。     

基于分布式软负载均衡的重试框架设计与实现

针对目前大型分布式服务中出现的一系列负载问题,提出了一套基于分布式锁、海量数据服务和一致性哈希算法,来实现分布式软负载均衡的重试框架。该框架提供了分布式海量重试任务服务,并支持水平自由扩展,具有自管理和高并发的特征,能有效地保证服务执行的正确性和高效性。     

基于对象存储的负载均衡存储策略

对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率.现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率.针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现.实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能.     

海量小数据分布式聚类优化与负载均衡算法

Sensor FS系统中的集中式传感器聚类算法会使主节点成为系统瓶颈,并且在传感器量大时速度较慢。为此,分别设计分布式传感器聚类算法和细粒度负载均衡算法对系统进行改进。令主节点只负责初始写调度,传感器再次发出写请求时则直接与对应的ChunkServer节点进行交互。在各ChunkServer节点内部利用传感依赖图进行传感器聚类,得到多个传感器类后由主节点聚类。在此基础上,根据各传感器产生数据的速度计算服务器负载,以传感器类为最小单位进行细粒度迁移。实验结果表明,分布式聚类算法和负载均衡算法能有效提升Hadoop分布式文件系统对海量传感小数据的读写性能。     

简易型分布式图片存储的设计与实现

本文在．net环境下,以C#语言来实现分布式图片存储,在不增加投入的情况下,提高用户对网站的访问速度。以crc32算法为核心,较为全面的讨论了分布式图片存储的实现过程,并给出了算法。     

分布式ETL负载均衡策略研究

在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R-CN模型。在此基础上提出一种基于ETL数据分片和R-CN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高,有效地提高了分布式ETL的效率。     

基于云计算技术的海量信息分布式存储研究

面对海量信息的有效存储,为了保证存储信息的抽取和查询的效率,研究基于云计算技术的海量信息分布式的存储方法。采用GFS作为分布式文件系统和HDFS管理节点/存储节点架构作为分布式存储技术的依据,形成极大存储容量的计算机群,对信息实行并行处理;生成事实表,分析和处理不同维度和粒度的情况下的信息后,对其实行数据聚集;采用基于云计算技术改进ETL处理算法实行海量信息抽取,存储在数据库中,用户即可根据需求实行数据库信息查询。实验结果表明,该方法的存储性能较好,物理节点的增加会提高信息的插入效率,并且抽取后的信息信噪比较高,信息查询速度较快。     

存储区域网络中路径容错及负载均衡的研究

为利用存储区域网络的冗余路径,在主机上加入驱动程序对逻辑单元（LUN）的输入,输出请求进行截获。在故障路径上的I／O请求失败后。由驱动程序在正常路径上重新执行。路径失败时I／O请求直接发送给HBA驱动程序,避免了磁盘驱动程序中的无效重试过程,缩短了故障切换时间。I／O请求被分配到多条路径上,提高了主机的吞吐能力,缩短了I／O平均响应时间。     

基于纳什均衡的多用户分布式系统负载均衡的研究

本文在基于排队论M/M/1动态负载均衡模型的基础上,提出了一种基于纳什均衡的动态负载均衡和静态负载均衡相结合的负载均衡方案.将改进后的方法与原负载均衡模型作对比,结果表明,在系统高通信开销时,新方案能有较好的性能表现,当系统负载量超过45％时,可以取得较好的期望响应时间.     

异构分布式负载均衡容错算法研究

基于基/副版本技术提出一种异构分布式容错调度模型,并在该模型上提出HDL算法。该算法克服了以前算法在故障发生前后负载均衡性不稳定问题,并在一定程序上实现均衡可控性,同时在模拟实验中给出一种基于协方差反映负载均衡性的方法。实验结果证明,该算法的负载均衡性在故障发生前后是稳定的。     

分布式视频点播网络统计调度策略及负载均衡研究

分布式视频点播网络成为当前的研究热点,文章从目前比较流行的CDN技术(内容分发网络)的缺点着手,提出以“鼎点天源”宽带平台为架构的分布式视频点播网络。在分析基于媒体服务器的统计策略和统计调度策略的的基础上,深入研究了视频服务器组间负载均衡策略,同一视频服务器组不同媒体服务器间的负载均衡策略。实际运营系统测试表明该调度策略有效地解决了分布式视频点播网络的负载均衡问题。     

基于存储队列的Cache访问性能优化研究

高性能处理器普遍采用片上集成大容量复杂结构的一级Cache提高处理器性能,但随着Cache容量和复杂度的增加,访问Cache所产生的访存延迟和功耗明显增加;基于存储队列,提出了一种通过减少Cache访问次数来降低功耗和延迟的方法,利用存储队列来缓存Load/Store指令的数据,并且当存储队列不满时,通过空闲入口暂存已经完成的仿存数据,提高了连续访存数据的复用率,减少了Cache的访问次数;仿真结果显示,该方法在增加少量的控制逻辑基础上,显著减少了Cache的访问次数,降低了Cache的功耗,减少了访存延迟,加快了执行速度。     

基于bonding技术的负载均衡研究

负载均衡技术的使用能够扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。文章阐述了基于bonding技术的负载均衡思想,描述了Linuxbonding驱动的加载步骤,并利用测试带宽工具在Linux平台双网卡连接环境下对bonding技术的性能进行测试,并对测试结果进行分析,表明bonding技术在负载均衡方面的可用性。     

异构分布式系统的负载均衡调度算法

提出一种异构分布式系统的负载均衡调度算法。对异构系统进行建模,使用染色体建立任务集合调度模型,根据该模型制定适应度函数,将其作为衡量负载均衡的标准,利用该标准对异构系统进行任务调度,并动态设定最大进化代数,以此改进动态遗传算法。实验结果表明,该算法具有较好的负载均衡性能。     

基于CORBA的分布系统容错和负载的实现

分析了基于CORBA的多层分布式应用系统实现容错和平衡负载能力的技术原理,探讨了容错和负载平衡的具体实献方法,详细介绍了容错和平衡负载在Delphi分布式数据库开发中的应用。实际应用表明,结合该方法的分布式应用系统具有更加强大的容错和负载平衡能力,工作更加稳定。     

DTBF模型的流量负载均衡研究与实现

针对目前网络工程中负载优化困难的问题,基于令牌调度方法提出了一种改进的动态令牌分配调度模型DTBF,实现了实时流的流量整形,推导并设计了动态分配令牌的优化算法以解决逻辑链路间的负载均衡问题。实验分析和工程实现结果表明,此流量调度方法能有效地对链路间进行流量负载均衡,显著提高带宽利用率,用户公平性良好。     

分布式系统节点负载动态平衡策略研究

负载均衡是有关分布式系统性能和计算效率的一个关键问题。在分析了目前常用的集中式动态分配算法和分布式动态分配算法的利弊后,结合两种算法的优点,建立了一种半分布半集中式动态负载分配模型,并据此设计了相应算法。根据节点响应时间,对原有的动态分配算法和新模型进行了性能分析,详细叙述了改进算法的设计思想和实现步骤。讨论结果表明,新算法可以提高系统的客户平均响应时间,同时减少节点间交互的信息量,提高了分布式系统的资源利用率。     

基于M/M/1模型的多用户分布式系统负载平衡

针对分布式系统负载平衡问题,对动态全局最优策略进行改进,结合静态全局最优策略,提出动静结合的负载平衡策略。策略克服在较高通信开销时动态负载平衡策略的缺点,有效提高分布式系统的综合性能。仿真结果表明,使用该策略在通信开销较高和系统负载率大于40%的情况下,能够获得比动态负载平衡更小的系统预期响应时间。