差异化作业调度在Storm上的实现

作业调度一直是大数据技术研究的热点,关于分布式集群上的调度优化的探讨一直没有停过。本文对比分析对比静态分配调度、均匀分配调度、资源感知调度和就近调度算法,提出差异化作业调度管理技术,并把它应用到分布式实时处理系统Storm当中。经过实验验证,该调度算法能对Storm集群中不同作业任务,进行差异化管理。     

面向车间作业计划与执行同步的动态调度技术

车间作业计划安排与实际执行的同步是制造执行系统需要解决的核心技术问题。通过系统的分析动态调度的问题类型,形成了动态调度的机制和策略;根据车间执行实时反馈信息,提出了基于任务调整的同步重调度解决框架;针对车间设备故障对调度方案更新的分析,建立了动态工作日制模式;从充分发挥调度人员经验的角度,提出了人机交互协调的调度方案调整技术。最后,开发了支持任务调整、工序执行与计划同步调整、故障模式、设备工作模式调整下的调度方案更新以及人机交互调度与方案调整等功能的调度软件,有效地提高了车间制造执行的有序、协调、可控的水平。     

基于遗传算法的双目标作业调度优化

提出了一种双向调度遗传算法，用于解决多工艺路线的以缩小生产周期和工件准时交货为目标的作业调度问题．双向调度就是采用倒排法调度关键工件，使其准时交货；采用顺排法调度其余工件，利用剩余加工资源，使其尽旱完工．双向调度遗传算法就是用遗传算法搜索双向调度的最优解．设计了一种新的染色体编码方法，该方法直接把工艺路线和工序映射成字符串．并对该编码的交叉算子和变异算子进行了研究．仿真结果表明，该算法是可行的，在生产中有一定的优越性。     

基于XML的数据交换和同步更新的平台研究——以上海电视大学松江分校为例

构建一个基于XML的数据交换和同步更新的平台,使不同应用环境和运行平台的软件在保持各自独立性的基础上,实现数据的同步实时更新。     

移动数据交换系统的改进模型及其实现

针对目前无线网络的运行现状，指出传统无线数据交换模型的不足，因此提出无线数据交换系统的改进模型，并举例说明了该模型的技术实现。     

基于Agent的复杂数据交换体系的研究

对于复杂数据交换体系而言,一方面难以建立中心节点对数据交换进行统一调度;另一方面各数据节点需要管理大量的数据源、接口软件,协调管理工作繁重.针对复杂数据交换体系的需求特点,提出了一种基于Agent的数据交换框架,并给出了Agent的构成框架、知识库结构及其更新算法、通信消息格式、数据交换流程和相关部署策略.通过Agent的自治性、自身信念和协作机制分散了复杂数据资源调度交换的管理难度,同时也增强了系统的灵活性、鲁棒性.     

一种基于YARN的高优先级作业调度实现方案

提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。     

多机并行作业车间调度的混合粒子群算法

本文通过对多目标多机作业车间调度的研究提出了一个改进的结合启发式规则的粒子群算法,采用了依机器和工件排序的编码规则,两段式的表达形式,带启发式规则的调整,并结合聚类分析思想的保留策略,对此类问题提出了一个新的解决方法,并在文中通过一个仿真案例进行求解。     

WinCE中基于XML的数据同步

在不同的操作系统中．系统与系统之间的数据交换是最为重要的环节，在此，由W3C制定出来的XML正是针对不同系统之间的数据交换而设计，基于WinCE嵌入式系统．完全支持W3C的XML的最新规范，因此，XML作为WinCE嵌入式系统数据同步的媒介是比较理想的选择。本文主要介绍在．NET开发平台下，WinCE中基于XML的数据同步的方式和方法。     

Hadoop云平台下基于资源预估的作业调度算法

为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,然后结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,本文算法能够满足作业对时间约束的需求,提升系统的资源利用率。     

基于PDA与PC数据传输同步协议可扩展的研究

为了维持PDA与PC之间的数据一致性,通常采用数据同步协议来达到目的。但是由于移动网络资源环境如:带宽、内存,以及处理能力低等条件,限制了这些协议的可操作性。文中基于最近的信息理论研究基础上引入了一种新的PDA同步模型协议(CPISync),该协议最突出的特点是:PDA与PC通讯代价的复杂度依赖于它们之间不同的数据量而不是PDA上所有记录的数量。而且,实验显示,在一定的条件下CPISync协议实际的计算复杂度和资源消耗量,以及它整体的延迟都比传统的同步协议小,起到了对传统协议的扩展的功能。因此,CPISync协议对提高PDA在大型的,异构,无线网络中的同步效率发挥了巨大的作用。     

网络并行计算系统中基于多处理机任务的资源调度模型

简要描述了网络并行计算系统中任务调度问题和经典的多处理机任务调度研究现状,并将两者结合到一起建立网络并行计算系统中的新型调度模型,较详细地论述了多处理机任务的定义,然后还讨论了该模型求解的近似调度策略及其近似优化问题,给出了其特例Pm｜fix｜Cmax问题的最优调度的时间跨度下界。     

Cloud data analysis using a genetic algorithm‐based job scheduling process

Data analysis plays a major role in different research applications that require a large volume of data. Cloud computing can provide computer processing resources and device‐to‐device data sharing based on user requirements. The main goal of cloud computing is to allow users and enterprise of varying capabilities to store and process data in an efficient way and to access and distribute resources. However, a crucial problem in cloud computing is job scheduling for numerous users. Prior to the implementation of job scheduling, jobs must be categorized according to degree of criticalness, privacy and time required. Based on the experimental results, the combination of tasks was successfully determined by the processor. In heterogeneous multiprocessor systems, customized job scheduling is highly critical for obtaining optimal job performance. In this paper, an evolutionary genetic algorithm was used for obtaining better results in job scheduling, thereby improving performance in the cloud system in this regard. The genetic algorithm‐based job scheduling process introduced minimizes the investment in time through effective allocation of user requests in order to enhance the overall efficiency of the system.     

任意处理时间的多处理机任务调度近似算法

研究多处理机任务调度模型P_mfixC_max,即在m个处理机系统中调度n个多处理机任务,每个任务指派到所需一组处理机上不可剥夺地执行。该问题应用广泛但早已证明为NP难问题,而且也不存在常数近似算法。在E.Bampis等人提出的Split-Round技术基础上,提出了该问题的一个改进的多项式时间近似算法,并从理论上证明了该算法在最坏情况下的近似比为2(2m)^-2,优于E.Bampis等人给出的3m^-2的结果。     

应用团划分方法改进多处理机任务近似调度

研究多处理机任务调度模型P_m|fix,p_j=1|C_max,即在m个处理机系统中调度n个时间长度都为1的多处理机任务,每个任务指派到所需一组处理机上不可剥夺地执行。这类问题在网络并行计算、多播系统及工程规划等领域都有广泛的应用,但早已被证明为NP难问题,而且也不存在常数近似算法。基于团划分方法构造了该问题的多项式时间近似算法,通过模拟实验进行了验证,和最大宽度优先（LWF）算法相比,该算法花费时间较长,近似比性能要好。     

基于数据局部性的推测式Hadoop任务调度算法研究

针对Hadoop平台现有任务调度算法优化程度不高的问题, 提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例, 结合不同节点上数据的局部特性, 采用了比现有算法更精确的任务进度探测方式找出快慢节点, 在快节点上启动剩余时间最长的落后任务的备份任务, 用移动计算代替移动数据。在Hadoop环境中进行了实验, 结果表明该算法比现有算法缩短了任务平均运行时间, 加快了任务的执行效率。     

数据网格任务调度模拟器的设计*

通过对数据网格模型及任务调度过程进行分析,归纳了数据网格任务调度流程,定义了数据网格的任务执行时间和执行花费。对网格模拟器GridSim进行扩展,增加了数据网格任务调度的模拟功能,介绍了扩展后的模拟器体系结构、工作流程和关键技术。通过实验表明,该任务调度模拟器可以满足数据网格优化理论研究的需要,能够对任务调度策略的性能进行比较。     

数据仓库系统中任务调度策略研究

针对数据仓库系统中存在众多的数据处理任务,提出了数据仓库系统中任务调度框架.通过自动分析任务文本生成任务流图,并提出了3种任务调度策略.模拟实验结果显示,该框架可以很好地完成数据仓库系统中的任务调度和管理,同时发现影响系统性能的因素还应包括磁盘I/O性能.     

基于层次化调度策略和动态数据复制的网格调度方法

针对在网格中如何有效地进行任务调度和数据复制, 以便减少任务执行时间等问题, 提出了任务调度算法（ISS）和优化动态数据复制算法（ODHRA）, 并构建一个方案将两种算法进行了有效结合。该方案采用ISS算法综合考虑任务等待队列的数量、任务需求数据的位置和站点的计算容量, 采用网络结构分级调度的方式, 配以适当的权重系数计算综合任务成本, 搜索出最佳计算节点区域; 采用ODHRA算法分析数据传输时间、存储访问延迟、等待在存储队列中的副本请求和节点间的距离, 在众多的副本中选取出最佳副本位置, 再结合副本放置和副本管理, 从而降低了文件访问时间。仿真结果表明, 提出的方案在平均任务执行时间方面, 与其他算法相比表现出了更好的性能。