面向状态可变数据流的集群调度综述

状态可变数据流(Mutable States Data Flow,MS-DF)是机器学习系统运行时的主要特征,MS-DF可由有向图来表示,其顶点由算子构成,表示机器学习运算逻辑;边代表算子之间的输入输出依赖关系.MS-DF的集群调度是保障机器学习系统高效运行的主要工作,如何高效进行MS-DF的集群调度已经成为机器学习的...     

面向大数据分析作业的启发式云资源供给方法

云计算已成为大数据分析作业的主流运行支撑环境，选择合适的云资源优化其性能面临巨大挑战.当前研究主要考虑大数据分析框架（如Hadoop，Spark等）的多样性，采用机器学习方法进行资源供给，但样本少容易陷入局部最优解.提出了大数据环境下基于负载分类的启发式云资源供给方法RP-CH，基于云资源共享特点，获取其他大数据分析作业的运行时监测和云资源配置信息，建立负载分类与优化云资源配置的启发式规则，并将该规则作用到贝叶斯优化算法的收益函数.基于HiBench，SparkBench测试基准的结果显示：RP-CH相对于已有方法CherryPick、大数据分析作业的性能平均提升了58%，成本平均减少了44%.     

混合型虚拟化资源管理系统

虚拟化发展呈现出多样化的发展趋势,主要包括Hypervisor和Container两类.前者隔离型好,操作便捷;后者轻量级,供给快捷.随着IT技术的快速发展和应用深入,复杂应用需要协调两类虚拟化对外界提供服务.提出了一种两级资源管理方法,第一级调度用以解决物理资源监测、统计、分配决策和隔离,使得单一物理资源具有多种虚拟化资源抽象能力;第二级调度用于解决用户资源需求与底层物理资源的放置,以达到提高物理资源利用率的目的.同时第一级调度还考虑异构物理资源的差异性,引入加权DRF算法评价异构物理资源对应用性能的影响.基于CloudSuite测试基准显示,在保障QoS前提下,该系统整个资源利用率有效的提升了20%左右.     

基于最小费用最大流的大规模资源调度方法

并行作业是大规模资源调度的研究热点.已有研究工作通常采用队列进行资源调度建模,仅能满足局部最优解,只能适应调度目标固定不变的场景,灵活性不够.提出了一种基于最小费用最大流的大规模资源调度建模方法,将任务的资源需求和物理资源供给问题转换成最小费用最大流图的构造和求解问题.首先,选择公平性、优先级和放置约束三种典型度量作为切入点,从资源视角映射为图的构造问题,通过改变图的结构使其具备适应性调整能力.其次,针对图的求解时间复杂度高的问题,实现了一种增量式优化算法.最后,实验对比公平性、优先级和放置约束三种资源调度典型系统,验证了本方法可通过按需配置,支持多种调度目标,具备灵活性.并通过实验仿真验证了万级规模下基于图的资源调度延迟,比基于未优化图算法的资源调度延迟最多降低10倍.     

应用感知的容器资源调度优化方法

资源调度作为容器管理的关键技术之一,已有研究工作或满足公平性目标,将工作负载平均调度到所有物理节点上,关注吞吐率指标;或满足性能目标,将工作负载关联的多个容器载体调度到相同或相近的物理节点上,关注响应时间.提出应用感知的容器资源调度方法,采用多队列模型兼顾公平性和性能目标.实验结果显示,对于典型的大数据处理场景,本方法和已有公平性调度方法具有相当的吞吐率;对于典型的事务型应用场景,本方法相对于已有的公平性调度方法,事务型应用的延迟最多可减少100%.