分布式系统中的双向启动自适应任务分配算法

本文讨论一种分布式系统中的任务分配算法，对它所使用的数据结构、算法实现以及性能等给予阐述，本算法采用双向启动策略，而且能根据系统总负功情况等自动选择发送者或接受者启动，所以称为双向启动自适应算法，同时，利用阈值和阈长两种参数把系统中的节点分为接受节点，负载适中节点和发送节点，它保证了寻找合作节点的优化和寻找速度的提高，是一种启发式算法。     

局域同构分布式系统的自适应任务分配算法

本文为局域同构分布式系统设计—个自适应任务分配算法。它使用阈值和阈长两个参量把节点划分成接受者、负载适中者和发送者三种类型，并根据节点的类型分布和任务等待情况等自适应地进行阈值修改。它采用发送者和接受者都能启动的对称启动机制，并通过系统总负载和任务总等待量的估计来自适应地控制启动行为的实施。它依靠分散式的状态估计和收集方法使得每个节点都可以进行任务分配工作。它力求在负载均衡、任务平均等待时间以及系统效率上实现综合优化。     

分布式主题爬虫的设计与实现

研究实现了一个分布式网络爬虫系统.系统架构主要分为控制节点和爬行节点两部分,并描述了分布式系统关键技术的解决方案.系统采用二级哈希映射算法进行任务分配以解决基于目标导向、负载均衡的URL分配问题,使用消息通信使节点相互协作,提出利用遗传算法作为该主题爬虫系统的搜索策略,并给出了网页更新策略的改进方法.     

一种高效的分布式爬虫系统负载均衡策略

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理。针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素,采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型。以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数,并利用带约束条件的改进粒子群优化算法求解目标函数,确定负载均衡的任务分配方案。实验结果表明,该负载均衡策略在满足爬虫节点高性能要求的前提下,能有效缩短分布式爬虫系统的运行时间。     

遥感影像并行处理中基于优先级的任务分配策略

对集群环境下大规模遥感影像并行计算中任务分配效率低、负载不均衡的问题进行分析讨论,在此基础上建立多机任务分配模型,提出一种基于计算节点优先级的任务分配算法。该算法综合考虑计算节点的负载和性能,在任务分配时实时地收集各个节点的信息,计算出各个计算节点的优先级,按照优先级的高低分配任务,保证在满足集群间负载均衡的前提下能合理地将任务分配到计算节点。实验结果表明,该算法能快速实时地进行任务分配,任务的分布更加合理和均匀,并且当任务个数增多时,算法的执行效率要比轮转调度算法高出约2倍。     

多核系统中一种改进的任务分配方案研究

多核系统工作负载的动态性和不可预知性往往会导致系统功耗高、延时长,运行期间敏捷的任务分配方法能有效解决上述问题.为此,针对多核系统中的任务分配问题提出一种近似模型,以估计任意给定节点周围的可用节点数量;然后,采用爬坡搜索启发式策略(SHiC),在所有可用节点中迅速搜索出最优首个节点;最后,利用CoNA算法实现任务的高效分配.在不同网络规模和网络参数设置下展开仿真,实验结果表明,SHiC可实现显著的性能提升,与当前最新研究相比,改进了网络延时和功耗.     

基于动态反馈的负载均衡算法

负载均衡服务器集群中,负载均衡算法是一个关键的部分,它是集群系统中任务分配的核心环节。任务分配的主要因素包括服务节点的处理能力与服务节点实际负载两个部分。本文所讨论的负载均衡算法综合了这两方面的影响,引入了节点负载增量对服务节点实际负载进行预测,以求更精确地表示服务节点的负载情况;同时通过动态反馈机制实时修正,保证了系统在长时间运行时,负载不会发生倾斜。     

一种改进的基于动态反馈的负载均衡算法

负载均衡是集群系统研究的一个重要问题,负载均衡算法是集群任务分配的核心,介绍了LVS中的负载均衡算法,讨论了常用算法的不足,在分析这些算法各自优缺点的基础上,提出了一种改进的基于反馈的负载均衡算法,算法引入一个负载容余参数以更准确地描述集群节点的负载状况,在考虑服务节点真实负载,处理能力的基础上,尽量简化负载均衡器的任务分配算法.测试结果显示该算法优于静态算法.     

一种集群系统的透明动态反馈负载均衡算法

随着服务器集群系统大量应用于各中小企业的信息系统中，传统均衡算法一方面由于局限性达不到企业的要求，另一方面大部分中小型企业也无法承受昂贵的硬件负载均衡器费用，本文提出了一种集群系统的透明动态反馈负载均衡算法（TDLBA）。该算法充分考虑集群系统中多种资源（CPU、内存、I/O和网络带宽等），采用双机热备份负载均衡器，服务器节点周期动态反馈方法，同时引入一个负载冗余以动态调整节点负载分配，从而达到尽量简化负载均衡器的任务分配算法、最大限度满足系统最大吞吐率和提高系统响应时间的目标。测试表明，该算法有效的提高了系统服务性能，且优于静态分配算法和Pick-KX算法。     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

基于任务负载监测的高性能集群节点启停机制*

对高性能计算集群在运行过程中如何通过关闭闲置节点来实现有效节能的问题进行了研究和探讨,设计和实现了基于任务负载量统计监测的节点启停机制.根据对系统中作业运行和排队情况的记录和分析,通过参数估计设计了反映队列任务情况的负载因子,并围绕负载因子制定具体策略,结合作业系统的队列设置和资源分配规则,对集群中的空闲节点进行自动启停控制.模拟实验表明,基于任务负载监测的节点启停机制能够有效地自动启停系统中闲置的节点,从而降低系统功耗,并且对系统中作业的整体完成时间基本不造成影响.     

基于异步奖励深度确定性策略梯度的边缘计算多任务资源联合优化

移动边缘计算（MEC）系统中,因本地计算能力和电池能量不足,终端设备可以决定是否将延迟敏感性任务卸载到边缘节点中执行。针对卸载过程中用户任务随机产生且系统资源动态变化问题,提出了一种基于异步奖励的深度确定性策略梯度（asynchronous reward deep deterministic policy gradient,ARDDPG）算法。不同于传统独立任务资源分配采用顺序等待执行的策略,该算法在任务产生的时隙即可执行资源分配,不必等待上一个任务执行完毕,以异步模式获取任务计算奖励。ARDDPG算法在时延约束下联合优化了任务卸载决策、动态带宽分配和计算资源分配,并通过深度确定性策略梯度训练神经网络来探索最佳优化性能。仿真结果表明,与随机策略、基线策略和DQN算法相比,ARDDPG算法在不同时延约束和任务生成率下有效降低了任务丢弃率和系统的时延和能耗。     

时空众包环境下时效均衡的在线任务分配算法

针对时空众包任务分配研究中单一考虑任务分配总效用或任务等待时间，导致总体分配效果不佳的问题，提出一种基于分配时间因子的动态阈值算法。首先，基于预估等待分配时间和已等待分配时间计算任务的分配时间因子；其次，综合考虑任务的回报值和分配时间因子进行任务分配排序；然后，在初始值的基础上增加动态调整项为每一项任务设置阈值；最后，根据阈值条件为每一项任务设置候选匹配集，并从候选匹配集中选择匹配系数最大的候选匹配对加入结果集，完成任务分配。通过实验证明，该算法在任务分配率达到95.8%的情况下，与贪心算法相比，在分配总效用方面提升20.4%；与随机阈值算法相比，在分配总效用方面提升17.8%，在任务平均等待时间方面缩短13.2%；与基于两阶段框架模型的在线微任务分配改进（TGOA-Greedy）算法相比，在分配总效用方面提升13.9%。实验结果表明，该算法能够在提升任务分配总效用的同时缩短任务的平均等待时间，实现分配总效用与任务等待时间两者间的均衡。     

智能建筑室内环境分布式可计算WSN任务调度研究

针对智能建筑室内环境下并行计算的动态任务调度问题,构建了基于分布式CPS思想的无线传感器网络(WSN)模型,并分别设计了基于可计算复杂性的任务分配策略和基于动态调度算法的任务调度策略。通过先将任务分配成若干个子任务,采用多带图灵机输入任务,由合适的计算节点进行计算,形成有向无环图,再按调度优先级排列任务,形成任务调度序列表,依序处理任务,从而达到了将任务分配、调度和执行相结合的目的。实验结果表明该策略可有效减少智能建筑室内环境分布式可计算WSN分布运行时任务之间的通讯时间和等待时间,同时提高了任务调度的成功率,最终优化系统的运行效率。     

集群系统中的动态反馈负载均衡策略

针对Web服务器集群系统中负载动态变化的特点,为了高效地实现任务均衡分配,提出一种新的负载均衡算法。该算法结合动态反馈原理,周期地根据服务器节点真实负载的状态变化情况,改变其相应节点的权值,避免服务器间的负载失衡。实验表明,该方法能有效降低系统平均服务延迟时间和提高吞吐量,提升集群系统的整体性能。     

物联网环境下实时任务传输的分簇调度算法

在物联网环境下,需要对链路节点之间传输的实时任务进行优化调度,以提高物联网中传感节点的进程管理和内存管理效率。传统方法采用优先级列表控制的物联网环境下的实时任务传输调度方法,在资源分配过程中动态负载平衡性受节点的空间分布的影响较大,任务分配的准确性不高。因此,提出一种基于高效时分多址时隙分配的物联网环境下实时任务传输的分簇调度算法。设计物联网的实时任务调度模型,提取分簇任务信息流的时隙分配尺度特征作为传输指向性函数,设计高效时分多址协议,改进物联网环境下的实时任务协同分簇调度算法,通过高效的时分多址时隙分配,提高了实时任务传输分簇调度的均衡性和准确性。仿真结果表明,采用该方法进行物联网环境下实时任务传输的分簇调度时性能优越可靠。     

能量有效的无线传感器网络动态任务调度算法

为减少无线传感器网络任务调度的能量消耗,平衡网络负载,提出能量最小化的动态任务调度算法。在感知动态环境的基础上,将传感器网络节点的覆盖率、可调度性等作为该问题的约束条件。将改进后的蚁群算法应用于任务调度算法中,通过迭代得到最优分配方案,引入信息熵提升剩余能量充沛的节点执行任务的几率。仿真结果表明,该算法在降低任务分配的执行时间、能量消耗量及优化网络负载平衡方面取得了较好的效果。     

基于边缘节点的深度神经网络任务分配方法

随着边缘计算的发展,边缘节点的计算规模不断增加,现有的边缘设备难以搭载深度神经网络模型,网络通信与云端服务器承受着巨大压力。为解决上述问题,通过对Roofline模型进行改进,借助新模型对边缘设备的性能与网络环境进行动态评估。根据评估指标,对神经网络模型进行分离式拆分,部分计算任务分配给边缘节点完成,云端服务器结合节点返回数据完成其它任务。该方法基于节点自身性能与网络环境,进行动态任务分配,具有一定兼容性与鲁棒性。实验结果表明,基于边缘节点的深度神经网络任务分配方法可在不同环境中利用设备的闲置性能,大幅度降低中心服务器的计算负载。