| 基于代价模型的多平台分析任务流调度优化 |
| |
| 引用本文： | 徐超一,刘晓清,顾淼,王巍.基于代价模型的多平台分析任务流调度优化[J].智能计算机与应用,2021,11(9):6-11. |
| |
| 作者姓名： | 徐超一 刘晓清 顾淼 王巍 |
| |
| 作者单位： | 复旦大学 计算机科学技术学院,上海200441;新浪,北京100193 |
| |
| 摘 要： | 分析任务流的调度是人们关注的热点问题之一.在无法提前得知各子任务资源和时间开销以及算子间传输开销的情况下,现有研究缺少较好的调度方法,也无法很好地处理多平台环境下的任务调度.为此,本文提出了一种基于启发式规则优化的拓扑调度算法.该算法通过对同平台任务和后继任务优先选择的规则,对任务流调度顺序进行优化;其次,结合Spark平台下数据分析任务常见的SQL算子和机器学习算子的代价模型,有效对任务的开销做出估计.实验表明,调度优化算法能有效节约时间开销和内存开销,代价模型的估计也较为准确.
|
| 关 键 词： | 任务流调度 有向无环图 拓扑排序 代价模型 启发式 |
Multi-platform analysis task flow scheduling optimization based on cost model |
| |
| XU Chaoyi,LIU Xiaoqing,GU Miao,WANG Wei.Multi-platform analysis task flow scheduling optimization based on cost model[J].INTELLIGENT COMPUTER AND APPLICATIONS,2021,11(9):6-11. |
| |
| Authors: | XU Chaoyi LIU Xiaoqing GU Miao WANG Wei |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
