改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

云中面向图像并行计算的数据分布策略

有效地减少云计算系统中对计算任务的处理响应时间,并使各计算机节点负载均衡,数据分布算法是相当重要的.提出了一种面向图像并行计算的适用于主从类型云计算系统结构的数据分布策略,设计节点性能函数来表示节点的处理能力,根据节点间的性能比率进行任务数据量的分布,结合链路带宽制定数据发送的顺序.模拟实验结果表明,该算法适用于云计算环境,能明显提高系统的数据处理效率.     

多层一致性哈希的HDFS副本放置策略

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性.采用多层一致性哈希的副本放置策略,首先通过一致性哈希算法获得数据副本对应的机架位置,再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置.一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术,提高了查找的效率和分布的均衡性.该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高,并且具有数据自适应性的能力.     

可伸缩分布式动态区间映射算法

提出一种支持权重分布数据的可伸缩分布式动态区间映射算法.该算法能够在存储节点发生变化时,根据可用的资源情况立即重新均衡数据对象分布,从所有存储节点中并行迁移数据对象,且迁移的数据对象数目是最少的.在此基础上提出分布式节点地址计算算法,支持计算节点通过视图校正算法自主学习,自动适应新的系统规模,消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性.     

MooseFS中chunkserver负载均衡算法研究

作为云存储的核心基础平台,分布式文件系统的重要性日益凸显.分布式文件系统中数据存储在多台计算机节点上,必然会出现负载均衡问题.首先,对MooseFS的系统架构进行了研究,然后分析了MooseFS分布式文件系统中chunkserver选择算法,研究了chunkserver算法的负载均衡性能,最后对其进行了改进.经过实验测试对比,实验结果显示改进算法能显著提高chunkserver的负载均衡性能.     

保持异构数据库集群系统动态平衡的策略研究

针对异构数据库集群系统中的数据分布平衡问题,提出改进的Range数据划分(IR)方法,不仅充分利用了集群中各异构节点的计算能力,还使系统负载在尽可能长的时间内不发生数据倾斜,保持系统均衡.对于在负载访问过程中引起的数据倾斜问题本文进一步设计了联机的数据迁移算法.在搭建的实验平台上测试表明IR数据划分方式比传统的均匀Range数据分布和PBH算法有更高的系统吞吐率和更好的系统可扩展性.     

大数据云存储的技术优化的仿真分析北大核心CSCD

在对大数据云存储的关键技术优化的研究过程中,云数据数量呈现几何指数增长,数据的多样性引起存储过程存储率下降。当前的存储过程以云端随机存储为主,没有考虑海量随机数据存储与后期访问的关联性。导致传统的存储过程在后期访问时,效率低。提出改进随机游走算法的大数据云存储的方法,把存储过程融合于定向随机游走规则,将云存储系统抽象为一个二维随机图,并将系统中的各节点表述为图中的各个顶点,促使汇聚节点收集到的源数据包传递至云存储系统中的部分节点上,将云存储数据流中的历史大数据依据时间的先后排列为时间戳序列,并对历史大数据进行多层递阶抽样存储,通过设置不同的大数据抽样比例保证了大数据存储新样本的随机性,有效地完成了大数据云存储的关键技术优化。仿真结果证明,改进随机游走算法使大数据云存储访问效率增加。     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

在线多任务异构云服务器负载均衡算法研究

针对由于云服务器之间软件环境存在异构性及数据分布不均匀等特点而导致云服务器集群在处理大量任务时往往出现节点负载不均衡的情况,提出了解决在线多任务异构云服务器集群负载均衡的方法与相关算法。首先统计集群提供的各类服务的平均资源消耗,结合任务在服务器上已运行时长和资源占用情况,预测评估某一时刻服务器上任务剩余负载总量;然后按周期获取节点实际任务负载情况,及时修正任务负载情况;最后综合考虑节点各项性能,计算在待分配任务提交时刻各节点的预测负载评估值,并将任务分配给预测负载最轻的节点。实验结果表明,该算法具有可行性且在多任务异构云服务器集群负载均衡方面具有一定优势。