云—边缘系统中跨域大数据作业调度技术研究

为了降低因处理这些跨域大数据带来的作业完成时延,首先提出了以最小化系列跨域作业平均完成时间为优化目标的在线随机调度算法ranTA。ranTA基于跨域资源的异构性在线地计算出各计算任务调度至不同位置的偏好,并以此偏好作为概率调度每个计算任务;更进一步,为了避免将“热点”数据积压在边缘集群造成性能瓶颈,提出基于ranTA的捎带式数据重分布机制ranTA-data,其将部分数据随任务执行留存至云数据中心。ranTA-data不仅优化了当前作业的完成时间,也能证明在该机制下系列作业的平均完成时间以大概率汇聚于最优解附近。大规模仿真实验表明,所提出的在线随机化算法与数据重部署机制相比传统方法,平均降低系列作业完成时间近30%。     

淤地坝监测场景下边缘计算协作式任务调度方法

针对目前我国西北地区淤地坝实时监测问题,研究了淤地坝监测与预警任务的调度方法.为避免淤地坝坝体隐患发现不及时,提高预警系统的时效性,本文考虑了任务卸载至边缘服务器的平均等待时间,提出了一种淤地坝监测场景下边缘计算协作式任务调度方法.根据任务计算量、边缘服务器计算能力等信息建立计算任务完成时间模型,然后采用模拟退火算法优...     

基于负载均衡的云计算任务调度算法的研究

本文针对当前云计算系统负载不均衡和任务完成效率有待提高的问题,提出了一种基于系统整体负载均衡与最小完成时间LB—ECT算法。根据云计算环境下资源需求动态变化,利用任务在虚拟机上执行时间的预测进行任务到虚拟机上的分配、调度。优化系统的整体效率。采用云计算仿真平台CloudSim对本算法进行仿真实验与分析,实验仿真结果表明,LB—ECT算法能够有效提高系统的整体负载均衡能力．明显缩短任务的总完成时间．     

不确定性感知的边缘计算任务调度算法

任务执行时长的不确定性是设计任务调度算法时的一个重要问题,关系到调度方案能否满足任务的截止时间要求.鉴于此,研究不确定性感知的边缘计算任务调度问题,以最小化边缘提供商开销为优化目标建立任务调度问题的优化模型.该模型将任务执行时长建模为随机变量并推导出任务完成时间的完整概率分布,引入关于任务截止时间的概率约束,以可调节的概率阈值保证任务按时完成.为求解该问题,进一步提出基于蝙蝠算法搜索策略的元启发式算法,包含两个关键的算法组件,映射算子实现蝙蝠空间与调度解空间的关联,评估算子实现候选解可行性的判定和优化目标值的计算.基于对比实验的仿真结果表明,所提出算法能够得到高质量的任务调度方案.     

云计算中基于任务分层和时间约束的关联任务调度算法

针对云计算中对关联任务进行调度时出现任务执行延迟的问题,提出了一种基于任务分层和时间约束的关联任务调度(RTS-THTC)算法。该算法采用构建有向无环图(DAG)的方式表示关联任务的执行次序,通过使用对DAG进行分层的方法提高任务的并行性,计算每一层任务的完成时间约束,将每一层中的任务同时调度至具有最小完成时间的资源上。与基于异构环境的最小完成时间(HEFT)算法的对比实验〖BP(〗原文“试验”〖BP)〗结果表明,RTS-THTC算法在完成时间上比HEFT算法短,并且能够有效地减缓关联任务出现延迟的情况。     

基于时延与能量感知的边缘服务器放置方法

针对移动边缘计算中无线城域网环境下的边缘服务器放置（WESP）问题,建立时延和能耗模型并将WESP问题转化为带约束条件的单目标优化问题,进而提出一种基于混沌麻雀搜索算法的边缘服务器放置方法。使用精英反向学习策略初始化种群,增加初始种群的多样性,加快算法搜索速度。通过设计新的个体编码方式准确描述WESP问题,优化算法更新过程。采用逻辑混沌映射策略改进麻雀个体,保证迭代后期的种群多样性,加快算法收敛速度。仿真结果表明,与主流放置方法相比,该方法在时延和能耗优化方面表现突出,并且系统开销下降了18.1%。     

基于改进灰狼优化算法的边缘计算任务调度方法

针对边缘计算在离散制造业数据处理过程中存在的时延和资源消耗大的问题,提出了一种基于改进灰狼优化(IGWO)算法的边缘计算任务调度方法。该方法通过对非线性收敛因子以及动态权重的改进,提高了灰狼算法的优化速度和精度,有效降低了终端设备和边缘端的资源损耗以及任务处理的时延。基于不同数据任务量下的处理时延与资源消耗实验,证明了所提模型的有效性,与3种主流任务调度算法相比,数据处理资源消耗和时延最低。将边缘计算任务调度与智能寻优算法相结合并运用到离散制造业,可以提高设备任务的处理速度、降低能耗,为离散制造业智能化转型提供借鉴。     

决策树模型预测Spark SQL作业执行时间的方法

Spark SQL在超大规模集群和数据集上存在易用性问题,如Catalyst最优执行计划的选择,Shuffle Par-tition的配置对性能有较大的影响,数据倾斜往往导致集群性能变差.为了在作业执行之前准确预测执行时间,更加充分地使用运行时数据,选择最优执行计划,提出通过决策树及其组合算法的回归模型预测作业执行时间...     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

SMART: Speedup Job Completion Time by Scheduling Reduce Tasks

Journal of Computer Science and Technology - Distributed computing systems have been widely used as the amount of data grows exponentially in the era of information explosion. Job completion time...     

基于改进蚁群算法的云计算任务调度模型

为解决云环境下的资源调度问题,提出一种能改善任务并行性与兼顾任务串行关系的调度模型,将用户提交的动态任务分割成具有制约关系的子任务,按运行次序放到具有不同优先级的调度队列中。针对同一调度队列中的子任务,采用基于最短任务延迟时间的改进蚁群算法(DSFACO)进行调度,在兼顾调度公平性与效率的前提下,最大化缩短任务延迟时间,从而提高用户满意度。实验结果表明,与任务调度增强蚁群算法相比,DSFACO算法在任务延迟时间、调度公平性及效率方面性能更好,能实现云计算环境下任务的最优调度。     

基于延迟敏感应用的边云协同方案

智能设备存在着存储能力以及计算能力不足的问题,导致无法满足计算密集型和延迟敏感型应用的服务质量要求。边缘计算和云计算被认为是解决智能设备局限性的有效方法。为了有效利用边云资源,并在延迟和服务失败概率方面提供良好的服务质量,首先提出了一种三层计算系统框架,然后考虑到边缘服务器的异构性和任务的延迟敏感性,在边缘层提出了一种高效的资源调度策略。三层计算系统框架可以根据应用程序的延迟敏感性提供计算资源和传输时延,保证了边缘资源的有效利用以及任务的实时性。仿真结果验证了所提资源调度策略的有效性,并表明该调度算法优于现有传统方法。     

一种基于能耗优化的云计算系统任务调度方法

服务器执行任务产生的能耗是云计算系统动态能耗的重要组成部分。为降低云计算系统任务执行的总能耗,提出了一种基于能耗优化的最早完成时间任务调度方法,建立了服务器动态功率计算模型,基于动态功率的服务器执行能耗模型,以及云计算系统的能耗优化模型。调度策略根据任务的截止时间要求和在不同服务器上的执行能耗,选择不同的调度算法,以获得最小任务执行总能耗。实验结果证明,提出的任务调度方法,能够较好地满足任务截止时间的要求,降低云计算系统任务执行的总能耗。     

基于用户满意度的任务调度策略磁

为了满足云环境中用户任务调度的不同需求,提出一种改进粒子群算法的任务调度策略。将用户对时间和费用的期望值作为动态适应度函数的加权值,同时在粒子群算法中引入遗传算法的交叉和变异操作,不仅避免了算法陷入局部最优还保持解的多样性,最终求出满足用户需求的任务调度。仿真实验结果表明,该策略能够减低任务的完成时间和执行费用,提高云计算服务质量,具有良好的实用性。     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

基于任务分类的延迟调度算法

MapReduce已经成为主流的海量数据处理模式,任务调度作为其关键环节已受到业界广泛关注。针对已有的延迟调度算法存在的问题,即建立在任务都是短任务的理论假设有一定限制,当节点处理不同长度的任务时算法性能严重下降和基于静态的等待时间阈值不能适应不同用户的作业需求,提出了一种基于任务分类的延迟调度算法。该算法通过给不同长度的任务设置不同的等待时间阈值,以适应不同作业的响应需求。通过分析各动态参数,根据所建任务模型调整任务的等待时间阈值。仿真验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。