分布式系统中的动态任务分配算法设计

设计一种分布式系统中的动态任务分配算法，并对它所使用的数据结构、实现方法以及稳定性加以讨论。本算法采用双向启动策略，即发送者和接受者都能进行启动、而且能根据系统总负载和任务等待量等自适应地选择启动策略的使用。同时利用阈值和阈长把系统中的节点分为接受节点，负载适中节点和发送节点、采用启发式方法进行任务分配。     

分布式系统中的双向启动自适应任务分配算法

本文讨论一种分布式系统中的任务分配算法，对它所使用的数据结构、算法实现以及性能等给予阐述，本算法采用双向启动策略，而且能根据系统总负功情况等自动选择发送者或接受者启动，所以称为双向启动自适应算法，同时，利用阈值和阈长两种参数把系统中的节点分为接受节点，负载适中节点和发送节点，它保证了寻找合作节点的优化和寻找速度的提高，是一种启发式算法。     

动态负载均衡策略及相关模型研究

为了提高分布式计算机环境中负载均衡的效率,提出一种基于启动者动态改变和阈值自适应的高效动态负载均衡策略。该策略根据分布式环境中各计算机的负载状态以及接受者启动策略和发送者启动策略的优缺点,动态改变负载阈值和启动者策略。研究了四个关键问题,即负载的分配、负载探测、负载状态的定义以及均衡策略,给出适合该策略的问题解决办法和结构模型。理论分析和实验结果表明,该策略能够有效地均衡负载,减小系统内部通信量,同时能够有效地抑制系统负载抖动。     

一个基于分布式数据库系统的动态负载分配算法

负载分配算法能够通过在其结点间明智地再分配工作负载而提高分布式系统的性能．在本文中,我们提出了一个新的基于分布式数据库系统的动态负载分配算法．它能够根据系统负载状况、数据的分布和结点间的通信开销自适应地改变其参数和策略。对一个分布式数据库系统的模拟表明,该算法能比稳定的发送者启动自适应算法提供更好的稳定性和性能。     

基于动态反馈的负载均衡算法

负载均衡服务器集群中,负载均衡算法是一个关键的部分,它是集群系统中任务分配的核心环节。任务分配的主要因素包括服务节点的处理能力与服务节点实际负载两个部分。本文所讨论的负载均衡算法综合了这两方面的影响,引入了节点负载增量对服务节点实际负载进行预测,以求更精确地表示服务节点的负载情况;同时通过动态反馈机制实时修正,保证了系统在长时间运行时,负载不会发生倾斜。     

Hadoop环境下基于数据本地化的Reduce任务调度策略

在MapReduce模型任务处理过程中,当Reduce任务开始执行,远程拉取Map阶段的输出数据时,会消耗大量的网络带宽,甚至会出现网络瓶颈问题。本文提出基于数据本地化和负载均衡的任务分配策略。该策略中用户首先设置采样数据量M,在Map阶段对前M个数据块进行采样;其次根据采样结果,同时考虑数据本地化因素,将Reduce任务进行分配;然后基于负载均衡将Reduce任务进行再分配,通过任务分配,系统生成一个任务分配表;最后启动Reduce任务,系统开始数据拉取,未被采样的数据根据任务分配表进行任务分配。通过大量实验验证,基于数据本地化和负载均衡的任务分配策略,既能减少Shuffle阶段数据的传输量,又能降低网络带宽的消耗,同时可以避免出现某些节点空闲而其它节点任务量大甚至处理不了的情况,从而提高了集群处理数据的整体能力。      

遥感影像并行处理中基于优先级的任务分配策略

对集群环境下大规模遥感影像并行计算中任务分配效率低、负载不均衡的问题进行分析讨论,在此基础上建立多机任务分配模型,提出一种基于计算节点优先级的任务分配算法。该算法综合考虑计算节点的负载和性能,在任务分配时实时地收集各个节点的信息,计算出各个计算节点的优先级,按照优先级的高低分配任务,保证在满足集群间负载均衡的前提下能合理地将任务分配到计算节点。实验结果表明,该算法能快速实时地进行任务分配,任务的分布更加合理和均匀,并且当任务个数增多时,算法的执行效率要比轮转调度算法高出约2倍。     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

时空众包环境下时效均衡的在线任务分配算法

针对时空众包任务分配研究中单一考虑任务分配总效用或任务等待时间，导致总体分配效果不佳的问题，提出一种基于分配时间因子的动态阈值算法。首先，基于预估等待分配时间和已等待分配时间计算任务的分配时间因子；其次，综合考虑任务的回报值和分配时间因子进行任务分配排序；然后，在初始值的基础上增加动态调整项为每一项任务设置阈值；最后，根据阈值条件为每一项任务设置候选匹配集，并从候选匹配集中选择匹配系数最大的候选匹配对加入结果集，完成任务分配。通过实验证明，该算法在任务分配率达到95.8%的情况下，与贪心算法相比，在分配总效用方面提升20.4%；与随机阈值算法相比，在分配总效用方面提升17.8%，在任务平均等待时间方面缩短13.2%；与基于两阶段框架模型的在线微任务分配改进（TGOA-Greedy）算法相比，在分配总效用方面提升13.9%。实验结果表明，该算法能够在提升任务分配总效用的同时缩短任务的平均等待时间，实现分配总效用与任务等待时间两者间的均衡。     

一种带混合联盟的无线传感器网络任务分配策略

针对现有无线传感器网络任务分配策略通常不考虑任务内部结构,从而会影响网络生命周期、能耗及负载平衡等问题,基于逻辑依赖性提出一种新的无线传感器网络任务分配策略。该策略首先由选出的盟主根据任务本身具有的逻辑依赖性,逐层将任务分解为一系列的子任务,并依据逻辑依赖性赋予子任务优先级,最后运用矩阵的二进制编码设计一种基于位置加权的离散粒子群优化的带混合联盟的无线传感器网络任务分配算法,找到某个合适节点执行此子任务。引入虚拟节点以加强盟主间的交流;引入能量阈值对节点能量进行预测并决定子任务是否迁移;运用拓扑和逆拓扑排序法,根据子任务预期完成时间及权重系数求出关键子任务,选择优先分配能力强、执行效率高的节点执行相应子任务。仿真结果表明,该任务分配策略能有效延长网络生命周期、均衡网络负载和减少网络能耗等。