首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 140 毫秒
1.
本文研究了ETL任务调度优化问题,提出了一套基于Kettle改进的集群调度策略。该策略将ETL任务调度分为任务预处理、任务分配和任务执行三个阶段。任务预处理阶段根据业务紧迫度和任务负载模式,构建任务初始调度序列。任务分配阶段为了避免集群负载不均衡,依据任务待处理数据规模,引入贪心算法思想进行任务调度分配。任务执行阶段为保证任务执行机会均等,采用高响应比优先算法执行任务。实验结果表明本文所提策略对比Kettle原始策略,能够有效提升任务执行效率、缩短关键任务执行时间。  相似文献   

2.
本文提出一种计算节点负载的任务调度策略,通过节点的本地任务预计完成时间与全部节点执行本地任务的预计完成时间的平均值做比较,小于平均值即为负载较轻的节点,反之较重。在任务的执行过程中根据计算节点的负载情况来进行任务调度,把负载较重的任务适当分给负载较轻的任务,合理进行任务分配,该策略可以减少非本地任务数量的产生,从而减少数据的迁移次数,也可以避免出现某些节点空闲而其他节点任务繁重的情况,从而提高集群处理数据的能力。理论分析和实验验证表明基于数据本地化的节点负载均衡任务调度策略可以提高数据本地性,使数据间的传输更高效,提高系统中资源的利用率。  相似文献   

3.
为保障边缘计算的服务质量,提出一种在多约束条件下边缘计算可信协同任务迁移策略。该策略基于任务需求,由边缘计算协同服务盟主节点组织调度协同服务盟员,基于用户任务迁移的K维权重指标,确定协同盟员调度优先级,以盟员负载均衡性为适应函数,通过贪心算法执行盟员任务分配与调度,基于路由捎带选择备用节点,通过迁移优先级评估,实现协同服务异常时的调度和迁移,由此提高边缘计算任务迁移的服务质量,保障任务迁移的可靠性。仿真实验表明,该机制能有效完成协同任务分发与迁移调度,提高边缘计算协同效率,保障网络服务质量。  相似文献   

4.
廖彬  张陶  于炯  刘继  尹路通  郭刚 《通信学报》2016,37(1):61-75
现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等MapReduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对TaskTracker当前温度状态的考虑。实验表明,当TaskTracker处于高温状态时,一方面使CPU利用率变高,导致节点能耗增大,任务处理速度下降,导致任务完成时间增加;另一方面,易发的宕机现象将直接导致任务的失败,推测执行(speculative execution)机制容易使运行时任务被迫中止。继而提出温度感知的节能任务调度策略,将节点CPU温度纳入任务调度的决策信息,以避免少数高温任务执行节点对作业整体进度的影响。实验结果表明,算法能够避免任务分配到高温节点,从而有效地缩短作业完成时间,减小作业执行能耗,提高系统稳定性。  相似文献   

5.
配置时间过长是制约可重构系统整体性能提升的重要因素,而合理的任务调度技术可有效降低系统配置时间。该文针对粗粒度动态可重构系统(CGDRS)和具有数据依赖关系的流应用,提出了一种3维任务调度模型。首先基于该模型,设计了一种基于预配置策略的任务调度算法(CPSA);然后根据任务间的配置重用性,提出了间隔配置重用与连续配置重用策略,并据此对CPSA算法进行改进。实验结果证明,CPSA算法能够有效解决调度死锁问题、降低流应用执行时间并提高调度成功率。与其它调度算法相比,对流应用执行时间的平均优化比例达到6.13%~19.53%。  相似文献   

6.
一种云计算环境下任务调度策略   总被引:1,自引:0,他引:1  
文章提出的问题是在云计算环境下任务调度策略。该策略的目标是将任务分配到计算单元上达到任务完成总时间最少和资源充分利用。基于此目标文章提出利用遗传算法对任务完成时间进行优化,并为处于空闲状态计算单元动态调整任务分配以改善资源利用率。利用CloudSim仿真平台验证该方法的有效性。  相似文献   

7.
设计一种大规模云计算网络用户短时需求任务调度优化算法,在较短的时间内处理大量的云计算任务,以满足用户短时需求。建立一个大规模云计算网络任务调度模型,将大规模云计算网络任务分配到各个虚拟机节点上,快速完成用户的短时需求任务;再通过遗传算法的个体编解码、自适应函数和遗传操作获取最优任务调度结果;并引入模拟退火算法,在遗传算法获取最佳调度结果的基础上进行局部搜索,直到迭代完成,输出最终的大规模云计算网络用户短时需求任务调度的全局最优解。实验结果表明:所设计算法能够实时关注用户任务执行状态以及用户任务执行时间;当用户任务数量为220时,该算法的单节点最大执行时间约为0.27 s,可提升整个任务调度的性能和效率;且该算法获取任务调度结果的收敛速度快、精度高。  相似文献   

8.
云计算中主机和任务的数量都是十分庞大的,如何通过任务分配调度来减少成本开销和降低能耗是当前云计算和绿色计算领域研究的热点问题。根据云计算任务以及运行环境的特点,将云计算任务分配问题抽象为多维多背包求解问题,并采用改进的混合遗传算法对该问题进行求解。实验结果表明,改进的混合遗传算法能够在较短的时间内找到问题的优化解,并且根据该算法实现的任务分配策略能够有效地减少任务执行的成本开销和能耗。  相似文献   

9.
多功能相控阵雷达的任务复杂性和实时性需求不断提高,传统的基于一定驻留周期的任务调度方法不能满足实时切换要求。针对此问题,提出了一种基于脉冲周期的任务切换和实时调度的方法,两级调度器与执行器一体化设计减少任务调度时间开销,综合考虑优先级调度算法和抢占式调度策略确保了任务有效执行,面向任务模型的参数化设计使得任务调度能灵活适应各类作战任务需求。仿真结果表明,此方法能较好地控制高优先级任务丢失率, 获得更高的任务执行有效性。  相似文献   

10.
树形网格自适应调度模型研究   总被引:1,自引:0,他引:1  
提出一种基于树形计算网格的自适应调度模型,实现对小粒度独立任务和用户大作业的自适应最优调度.通过对网格环境的实时检测,给出了基于节点负载状况、节点任务执行时间和任务特性的自适应调度算法.实验证明该任务调度模型在负载平衡和容错方面具有良好的性能.  相似文献   

11.
Cloud computing is a newly emerging distributed system. Task scheduling is the core research of cloud computing which studies how to allocate the tasks among the physical nodes, so that the tasks can get a balanced allocation or each task's execution cost decreases to the minimum, or the overall system performance is optimal. Unlike task scheduling based on time or cost before, aiming at the special reliability requirements in cloud computing, we propose a non‐cooperative game model for reliability‐based task scheduling approach. This model takes the steady‐state availability that computing nodes provide as the target, takes the task slicing strategy of the schedulers as the game strategy, then finds the Nash equilibrium solution. We also design a task scheduling algorithm based on this model. It can be seen from the experiments that our task scheduling algorithm is better than the so‐called balanced scheduling algorithm.  相似文献   

12.
Cloud data centers have become overwhelmed with data-intensive applications due to the limited computational capabilities of mobile terminals. Mobile edge computing is emerging as a potential paradigm to host application execution at the edge of networks to reduce transmission delays. Compute nodes are usually distributed in edge environments, enabling crucially efficient task scheduling among those nodes to achieve reduced processing time. Moreover, it is imperative to conserve edge server energy, enhancing their lifetimes. To this end, this paper proposes a novel task scheduling algorithm named Energy-aware Double-fitness Particle Swarm Optimization (EA-DFPSO) that is based on an improved particle swarm optimization algorithm for achieving energy efficiency in an edge computing environment along with minimal task execution time. The proposed EA-DFPSO algorithm applies a dual fitness function to search for an optimal tasks-scheduling scheme for saving edge server energy while maintaining service quality for tasks. Extensive experimentation demonstrates that our proposed EA-DFPSO algorithm outperforms the existing traditional scheduling algorithms to achieve reduced task completion time and conserve energy in an edge computing environment.  相似文献   

13.
Task allocation and scheduling in wireless distributed computing networks   总被引:1,自引:0,他引:1  
Wireless distributed computing (WDC) is an enabling technology that allows radio nodes to cooperate in processing complex computational tasks of an application in a distributed manner. WDC research is being driven by the fact that mobile portable computing devices have limitations in executing complex mobile applications, mainly attributed to their limited resource and functionality. This article focuses on resource allocation in WDC networks, specifically on scheduling and task allocation. In WDC, it is important to schedule communications between the nodes in addition to the allocation of computational tasks to nodes. Communication scheduling and heterogeneity in the operating environment make the WDC resource allocation problem challenging to address. This article presents a task allocation and scheduling algorithm that optimizes both energy consumption and makespan in a heuristic manner. The proposed algorithm uses a comprehensive model of the energy consumption for the execution of tasks and communication between tasks assigned to different radio nodes. The algorithm is tested for three objectives, namely, minimization of makespan, minimization of energy consumption, and minimization of both makespan and energy consumption.  相似文献   

14.
对于传统蚁群算法用于云计算资源分配和调度问题过程中存在的不足,提出了一种可以提高负载均衡度、缩短任务执行时间、降低任务执行成本的改进自适应蚁群算法,改进算法以能够基于用户提交的任务求解出执行时间较短、费用较低,负载率均衡的分配方案为目标,通过CloudSim平台对传统蚁群算法、最新的AC-SFL算法、改进自适应蚁群算法进行仿真实验对比。实验数据表明,改进后的自适应蚁群算法能够快速找出最优的云计算资源调度问题的解决方案,缩短了任务完成时间,降低了执行费用,保持了整个云系统中心的负载均衡。  相似文献   

15.
在研究蚁群算法、任务分配和资源调度的基础上,提出了一种改进的蚁群资源调度算法.首先通过引入节点可信度机制在一定程度上增强了云计算资源的搜索能力和节点完成任务的成功率.然后在改进的算法中使用了信息素的局部更新机制和全局更新机制,可以有效地平衡负载.最后通过选取合适的参数利用CloudSim仿真工具对改进的资源调度算法进行实验测试,实验结果表明此算法缩短了任务的执行时间,改善了云计算资源调度的性能.  相似文献   

16.
李焱  郑亚松  李婧  朱春鸽  刘欣然 《电子学报》2017,45(10):2416-2424
云环境下,因数据局部性或是任务对资源的特殊偏好,一个作业所包含的任务往往需要在不同的数据中心局点上运行,此类作业称为跨域作业.跨域作业的完成时间取决于最慢任务的执行效率,即存在木桶效应.针对各域资源能力异构条件下不合理的调度策略导致跨域作业执行时间跨度过长的问题,本文提出一种面向跨域作业的启发式调度方法MIN-Max-Min,优先选择期望完成时间最短的作业执行.通过实验表明,与先来先服务的策略相比,该方法能将跨域作业平均执行时间跨度减少40%以上.  相似文献   

17.
A multidimensional cloud computing architecture is designed and a multidimensional cloud resource scheduling model is constructed based on the stakeholder perspective of cloud users and cloud service providers to meet the high QoS requirements of cloud users (such as task execution time and task completion time) with low computing costs (such as energy consumption,economic costs and system availability).For the second-level cloud resource scheduling,an MQoS cloud resource scheduling algorithm based on multiple Greedy algorithm is proposed.The experimental results show that under the four cloud computing application scenarios with no aftereffects,the MQoS cloud resource scheduling algorithm has an overall increase of 206.42%~228.99% and 34.26%~56.93 in terms of multidimensional QoS degree compared with FIFO and M2EC algorithms.It has an average overall reduction of 0.48~0.49 and 0.20~0.27 in terms of cloud data center load balance difference.  相似文献   

18.
陶晓玲  韦毅  王勇 《电子学报》2016,44(9):2106-2113
针对现有云计算系统中负载均衡方法的不足,借鉴系统逻辑分层和多代理的思想,提出一种基于分层多代理的云计算负载均衡方法.通过对云计算平台逻辑分层,在任务代理层设置任务监控代理和任务子代理,根据用户任务的差异性,采用基于任务优先级和QoS目标约束的调度策略协同完成任务调度;在资源代理层设置资源监控代理和资源子代理,考虑物理节点的异构性,采用基于启发式贪婪的资源分配策略协同完成虚拟机到物理节点的映射.通过评估对比仿真实验,结果表明该方法在任务调度效率、任务完成时间、截止时间违背率和负载均衡度方面表现更优,多代理有效地分担了中心管理节点的管理负载,使云计算平台的任务处理能力、资源利用率及鲁棒性均得到了进一步的提升.  相似文献   

19.
A novel task graph model, flexible task model (FTM), is proposed for modeling the grid computing tasks and the relationships among the tasks. In this model, a task may generate output before the task completes whereas previous work assumes that no output is available until the task is completed. In addition, a task in FTM can start to execute when it has collected a minimum amount of required input from its predecessors. FTM is more general and flexible than the conventional task graph model considered in previous work. Based on FTM, we investigate the problem of scheduling grid applications that integrates the resource allocation for task execution and service provisioning for subwavelength data communication between the tasks. Data communication between grid tasks under the FTM model is better supported using light-trails in wavelength division multiplexing (WDM) networks, than lightpaths. The objective is to minimize the total amount of time for task completion or makespan. Simulation results show that our proposed scheduling algorithm under FTM significantly reduces the total task completion time compared with that under the conventional task graph model. Moreover, the communication service provisioning using light-trails is very resource efficient.   相似文献   

20.
李波  牛力  黄鑫  丁洪伟 《电子与信息学报》2020,42(11):2664-2670
车载云计算环境中的计算卸载存在回程网络延迟高、远程云端负载大等问题,车载边缘计算利用边缘服务器靠近车载终端,就近提供云计算服务的特点,在一定程度上解决了上述问题。但由于汽车运动造成的通信环境动态变化进而导致任务完成时间增加,为此该文提出一种基于移动路径可预测的计算卸载切换策略MPOHS,即在车辆移动路径可预测情况下,引入基于最小完成时间的计算切换策略,以降低车辆移动性对计算卸载的影响。实验结果表明,相对于现有研究,该文所提算法能够在减少平均任务完成时间的同时,减少切换次数和切换时间开销,有效降低汽车运动对计算卸载的影响。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号