基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于对象存储的负载均衡存储策略

对象存储文件系统中将大数据文件分片存储到多个存储节点上,以获取更好的并行I/O性能,提高系统吞吐率.现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化,不利于提高系统资源利用率.针对此问题,考虑存储对象的空间及I/O等负载实时变化,提出了一种简单、灵活、高效的负载均衡存储策略,并对该策略进行了实现.实验结果表明,该策略能有效提高对象存储系统资源的利用率和吞吐率,保证对象存储文件系统高效的读写性能.     

基于Hopfield神经网络的云存储负载均衡策略

针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络（HNN）的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。     

Swift云存储环境下基于I/O负载均衡的读取策略

Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务.针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略.实验结果表明,该策略不仅能够充分利用备份数据来达到存储设备读操作的负载均衡,而且能够实现数据的并行读取,提高平台整体读性能.     

云存储多卷负载均衡的LSM键值存储系统

单个云存储卷的IOPS和带宽性能受到限制,通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是,现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统,相对单个大容量卷的性能有显著提升;但是,现有多卷负载均衡方案的写数据策略,无法感知LSM键值存储系统的数据布局特点,导致各成员卷之间仍然存在负载不均衡的问题,不能充分发挥出多卷的最大性能.为此,提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前,先根据统计的各个成员卷的关键信息,判断sstable与各成员卷的键范围重叠情况,然后选择键范围重叠最小的成员卷进行写入;针对读为主的负载,无法通过compaction达到负载均衡,TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明,相比相同存储容量的单卷,采用了TANGO方案的同等容量的多卷可提高7倍左右的性能;相比其它多卷方案,TANGO能提升20%以上的性能,且各成员卷间负载更加均衡.     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于AHP的Web集群系统负载均衡算法

利用集群技术构建的服务器组在资源利用率上存在较大差异。为此,提出基于层次分析法(AHP)的集群系统负载均衡算法,建立判断矩阵,得到各项评估指标的单项和综合权重。调度器定时接收真实服务器上的4类参数：网络性能,服务器硬件,服务器软件和网络服务类型。根据调度器收到的每一个连接请求,采用动态反馈算法选择负载最小的服务器响应连接请求。实验结果表明,该算法能减少服务器平均响应时间,有效提高集群系统的响应率。     

海量图片的分布式存储及负载均衡研究

针对海量图片给网站带来的访问速度下降、性能压力增大和I/O瓶颈等问题,提出一种海量图片的分布式存储及负载均衡技术。通过把图片数据和网站内容分开部署、在数据库中记录和维护图片服务器状态信息等方法实现图片和页面数据的分离。实验结果表明,该技术能提高网站的访问速度和运行效率,并可动态增加图片服务器的数量满足日益增加的性能需求。     

分布式存储中基于局部修复码的负载均衡方法

针对分布式存储中热数据访问性能低下的问题,提出一种基于局部修复码（LRC）的负载均衡方法,采用编码的方式规避节点的集中式访问,并提高热数据的访问效率。首先,利用平衡不完全区组设计（BIBD）构造一类适用于小规模存储系统的特殊LRC,从而为编码数据提供多种访问方式;然后,分别基于里所（RS）码和随机阵列码将LRC推广到更大规模,并使它满足存储系统一定的容错需求;最后,提出一种热数据访问算法以降低热数据的访问压力,并结合合理的数据布局方案实现存储系统在高频访问场景下的负载均衡。理论分析和实验结果表明,所提方法能以极小的代价实现负载均衡,明显优于传统方法中利用多副本及最大距离可分（MDS）码实现的负载均衡方法,尤其是解决了因冷热数据访问不均带来的负载失衡问题,可以有效提高热数据存储系统的访问效率。     

基于Kademlia的负载平衡云存储算法

针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。     

基于AHP和模糊综合评判的信息安全风险评估

从信息安全风险评估的原理和研究现状入手,提出了基于层次分析法（AHP）和模糊综合评判的信息安全风险评估的方法,解决了风险评估中定性指标定量评估的难点。最后给出实例,证明该方法能有效地应用于信息安全风险评估。     

改进的AHP算法在Web集群系统负载均衡中的应用

判断矩阵的建立和调整是AHP算法的关键。对Satty的1~9标度方法进行改进,引入3标度法建立判断矩阵。从正互反矩阵充分必要条件出发,提出判断矩阵不一致时的调整方法,以提高判断矩阵的一致性和减少计算量。该方法应用于Web集群系统负载均衡中,确定影响服务器负载的四大类参数的权重。实验表明,改进的AHP算法在判断矩阵不一致时,在尊重原始数据的基础上,调整判断矩阵的计算量减少,判断矩阵的一致性更好,同时可以提高负载均衡系统的性能。     

云理论在航空电子战系统效能评估中的应用

云理论是以研究系统模糊性和不确定性为背景,实现系统的定性评价与定量研究相结合、相转换的理论。介绍了云理论的数字特征、在航空电子战系统效能评估中应用到正向云、逆向云以及云的加权和算法。通过层次分析法建立了航空电子战系统效能的评估体系,并结合专家打分法给出指标的定性权重和评价语,利用正向云算法将其转换为云的数字特征,通过运算得出系统顶层指标的定量评估值,最后再利用云逆向算法将其转换为符合人习惯的定性评价。     

云中基于蚁群算法改进的负载均衡策略

针对云计算虚拟化资源中,提高资源利用率、负载均衡度的问题,在蚁群算法的基础上,提出云中节点间负载均衡的改进算法。前向蚂蚁检测节点的类型、记录节点信息,遇到负载节点时留下觅食信息素;后向蚂蚁依据循迹信息素追溯回负载节点,合理分配超载节点任务。所有蚂蚁不再更新自己的结果集,而是致力于更新单个结果集,在搜索过程中依据节点类型动态地修改路径信息素。在Cloudsim平台下进行的仿真实验验证了改进算法的有效性。     

云计算环境下基于蜜蜂觅食行为的任务负载均衡算法

针对云计算环境下的任务调度程序通常需要较多响应时间和通信成本的问题,提出了一种基于蜜蜂行为的负载均衡(HBB-LB)算法。首先,利用虚拟机(VM)进行负载平衡来最大化吞吐量;然后,对机器上任务的优先级进行平衡;最后,将平衡重点放在减少VM等待序列中任务的等待时间上,从而提高处理过程的整体吞吐量和优先级。利用CloudSim工具模拟云计算环境进行仿真实验,结果表明,相比粒子群优化(PSO)、蚁群算法(ACO)、动态负载均衡(DLB)、先入先出(FIFO)和加权轮询(WRR)算法, HBB-LB算法的平均响应时间分别节省了5%、13%、17%、67%、37%,最大完成时间分别节省了20%、23%、18%、55%、46%,可以更好地平衡非抢占式独立任务,适用于异构云计算系统。