基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

μC/OS-II中优先级位图算法的改进

针对基于查表方式的优先级位图算法占用存储空间较大的问题,提出2种能够减少存储空间占用的改进算法。改进算法1通过去除原表中的冗余数据,缩小表格的大小;改进算法2完全脱离查表思想,采用一种新的方法获得当前具有最高优先级的就绪态任务。分析结果表明,优化后的算法可以有效节省系统的存储空间。     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

基于负载感知的数据流动态负载均衡策略

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。     

VoD集群中基于Zipf定律的负载均衡算法

VoD服务器集群负载均衡策略主要涉及文件备份与分发两方面.现有大部分算法只是孤立地考虑其中一个方面,针对这种不足,提出一种负载均衡优化模型,综合考虑了VoD系统文件的备份与分发.提出了基于Zipf-like分布定律的备份算法和最小负载优先分发算法,增大了点播文件的备份率和减小了集群负载不均衡度.利用VoD文件点播率服从Zipf-like分布的特点,将不同文件按照不同优先级分组,降低了算法执行的复杂度.最后仿真实验结果表明了其正确性.     

云存储环境下副本选择策略研究

云存储服务提供商为了满足各类云用户的存储需求,一般采用划分固定大小的数据块、冗余备份等技术来存储数据,关于块放置、最佳副本选择、副本粒度等存储机制的研究一直是加快大文件存取速度的重要内容。面向云存储系统中存储节点的异构性,设计了一种采用层次分析法对节点性能指标加权并依据加权指标改进粒子群算法的策略(AHPPSO)。通过引入与存储节点性能相关的加权评价矩阵,使得粒子群算法向综合性能较高的节点进化,在不增加存储空间成本的基础上,加快了存取数据的速度。在自主搭建的云存储系统中实现了该策略,实验结果显示该策略能够适应多种用户需求,并且在一定程度上实现系统负载均衡。     

基于云存储的冗余分片自适应分发策略

水利信息化的发展促进水利大数据的快速增长,在实际生产中发现,水利数据的整合与共享能充分发挥水利大数据的综合效益,但由于各数据中心存储能力不均衡等问题,很容易产生数据交换热点。本文在混合存储模型的研究基础上,根据数据中心之间交换需求量以及数据中心存储能力,设计基于水利数据领域空间特性的冗余分片自适应分发策略,并利用该策略进行数据分片的分发决策。实验表明,该策略能够基本保证各数据中心存储负载趋于均衡。      

移动边缘计算中利用BPSO的任务卸载策略

为提高移动边缘计算任务卸载方案的性能,提出一种移动边缘计算中利用BPSO的任务卸载策略.构建三层移动边缘计算(M EC)网络架构,移动设备根据任务情况进行本地计算,或者将其卸载至边缘计算节点与云服务器;根据M EC网络中的计算模型、通信模型设计计算卸载目标,即任务最优分配、节点负载均衡,使计算任务得到及时、有序、高效的分配;利用二进制粒子群(BPSO)算法对优化目标进行求解,得到最优卸载策略,实现能量消耗最小且时延最短,系统整体负载最为均衡.实验结果表明,所提策略能量损耗最小且系统整体负载性能明显提升.     

基于柯西码的HDFS存储优化策略

随着大数据时代的到来,数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块,在保证数据可用性的基础上,依据其热度的不同生成相应的存储方案。对于系统中的冷数据与热数据,分别采用基于柯西码的纠删码技术进行单副本与多副本存储,既保证了数据的可靠性又保证了系统的I/O能力。经测试,运用该策略存储数据所需要的存储空间减小为原来的75%,系统的可靠性与负载均衡能力也得到了增强。     

基于动态数据分布的并行Shear-Warp体绘制算法

提出了基于动态数据分布的并行Ｓｈｅａｒ－Ｗａｒｐ体绘制算法和新的动态数据分布策略,利用空闲的广播通信线路使数据重分布与绘制并行进行,提高了通信线路的利用率、避免了冗余存储,减少了资源浪费,并避免了对算法效率的影响;改进的任务分配与负载平衡策略,避免了节点机负载的不平衡和流水线作业的积压,提高了算法的效率。     

基于禁忌搜索的流式计算平台负载均衡策略

针对大数据流式计算平台原生的调度机制存在计算负载分配不均衡、资源利用率低的问题,提出异构环境下基于禁忌搜索算法的负载均衡策略,并将其应用于Apache Flink平台。首先,通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图（directed acyclic graph,DAG）,并将每个任务槽（task slot）抽象为节点,为计算节点的性能评估奠定基础;其次,通过建立性能评估模型将有向无环图中带性能权值的节点导入性能评估模型,进行归一化处理得到节点性能的优劣;再将评估参数传入禁忌调度算法（tabu search for schedule,TBS）进行作业路径优化,从而得出最优作业路径;最后,使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中,完成计算负载的均衡分配,从而提升Flink平台的整体性能。实验结果表明：通过禁忌调度算法优化后的负载均衡策略与原生的Flink平台相比,平均计算延迟降低了10~20 ms,资源利用率显著提高,平均吞吐量提升约15%,有效证明了负载均衡策略的有效性和优化效果。     

A real-time distributed cluster storage optimization for massive data in internet of multimedia things

With the rapid growth of massive data in the Internet of Multimedia Things, there are some problems of insufficient storage space and unbalanced load in the current methods. For the problem of massive real-time data storage, a distributed cluster storage optimization method is proposed. Considering the impact of replica cost and the generation of intermediate data on the replica layout, a replica generation and storage strategy is given with consideration of cost and storage space. In the data center, the data sensitivity and data access frequency is used as migration factors to achieve massive data migration. The improved collaborative evolution method is used to code the task scheduling particle swarm in massive data storage to obtain the optimal solution, and achieve massive real-time data distributed cluster storage for the Internet of things. The experimental results showed that the cost of data management by this method was only between 10 and 15, which showed that this method can effectively improve data access speed, reduce storage space, lower cost and better load balancing.

     

一致性哈希的数据集群存储优化策略研究

结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略．按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度．有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

基于移动代理的负载平衡策略

在异构计算环境中负载平衡是一个重要问题。移动代理是一种新的分布计算模式,具有许多优势,比如移动代理能够从一台机器移动到另一台机器执行任务。该文提出了一个基于移动代理的并行计算框架,利用一个二段负载平衡策略使程序能够适应不断变化的异构计算环境。实验结果显示移动代理不仅能够用于并行计算,而且能够有效地改善负载平衡。     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

负载平衡调度问题的一般模型研究

分布式系统提供了巨大的处理能力,为了实现和充分利用这种能力,需要优良的负载平衡调度技术。因此,负载平衡问题是影响分布式系统性能的重要因素。在深入研究分布式系统中负载平衡调度问题的基础上,归纳总结了负载平衡调度的一般模型,对影响负载平衡的各个因素进行了详细的分析。此模型已在一个实际模型中得到了有效地验证。     

面向模型并行训练的模型拆分策略自动生成方法

随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求。近年来基于分布式训练的AI加速器（如FPGA、TPU、AI芯片等）层出不穷,为深度神经网络并行训练提供了硬件基础。为了充分利用各种硬件资源,研究人员需要在集合了多种不同算力、不同硬件架构AI加速器的计算平台上进行神经网络的模型并行训练,因此,如何高效利用各种AI加速器计算资源,并实现训练任务在多种加速器上的负载均衡,一直是研究人员关心的热点问题。提出了一种面向模型并行训练的模型拆分策略自动生成方法,该方法能够基于静态的网络模型自动生成模型拆分策略,实现网络层在不同AI加速器上的任务分配。基于该方法自动生成的模型分配策略,能够高效利用单个计算平台上的所有计算资源,并保证模型训练任务在各设备之间的负载均衡,与目前使用的人工拆分策略相比,具有更高的时效性,节省拆分策略生成时间100倍以上,且降低了由于人为因素带来的不确定性。     

遥感网格的数据压缩与任务分配方法研究

网格计算作为分布式计算在科学计算领域的发展方向,可以为对地观测数据的处理提供强大的计算力。在分析遥感信息服务网格节点(Remote Sensing Information Service Grid Nodes,RSSN)中网络数据传输和负载均衡两个关键问题的基础上,提出了一种有效的基于游程编码和Huffman编码的数据压缩方法和基于"计算端元"的任务分配策略,该方法针对遥感影像特点进行有效数据压缩,具有较好的压缩比,达到了17%,且能实现任务负载均衡。并在遥感信息服务网格节点计算平台上,以中国范围内1km分辨率气溶胶光学厚度(Aerosol Optical Depth,AOD)反演计算为例,从压缩率和计算时间效率方面验证和分析了上述方法的有效性。