数据仓库ETL任务调度模型研究

数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.     

起始时间不同的多处理机任务调度

本文讨论起始时间不同的多处理机任务调度问题。首先提出处理机有效函数、处理机有效时间的定义，证明了一个任务在某一时刻可调度的必要条件，利用任务可调度的必要条件设计ＥＴＥＰＦ算法，并通过仿真分析，说明算法的性能。     

非安全互连同构系统上的静态任务调度

在分布式内存多处理机ＤＭＭ（ｄｉｓｔｒｉｂｕｔｅｄ ｍｅｍｏｒｙ ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）系统中,不同处理机上运行的任务之间的通信开销仍然很大,有时甚至抵消了多处理机并行所带来的好处．为了使并行程序在ＤＭＭ系统上能得以高效的执行,必须采用合理的调度技术将任务分配给处理机．章首先分别给出了任务调度系统中的任务模型、处理机模型以及调度问题的形式化描述,然后在此基础上研究了任务调度中３个最重要的     

一种基于多处理机的容错实时任务调度算法

容错是实时系统的重要要求,在实时系统中,若一个实时任务没在规定的时间期限内完成,则认为系统出现错误,针对多处理机实时系统提出了一种容错调度算法．算法采用了任务的主从备份技术和Ｆｉｒｓｔ－ｆｉｔ启发式方法,通过为可能因处理机故障而执行失败的实时任务预留重新运行的时间来实现容错功能;并通过对预留时间段的重叠利用和无错时预留时间的回收分配,来提高处理机的利用率和系统对任务的接收率．模拟结果表明算法是有效     

网格任务调度策略研究

网格作为下一代Internet,具有动态性和异构性,如何有效的调度任务是影响网格成功与否的关键技术之一。首先总结了网格计算系统的体系结构和特征,分析了网格任务调度算法的基本原理和性能指标,并对各种调度策略和算法进行了分类和比较,从而为网格任务调度的研究提供了很好的参考价值。     

工作流技术在电信数据仓库系统中的应用

随着电信市场的逐步放开,各运营商近乎默契的同时启动数据仓库系统的建设。在数据仓库系统建设中,出现了很多问题。本文以广东电信数据仓库的建设为背景,分析了建设中存在的问题,提出了基于工作流技术的解决方案,并以应用实例的设计进行了介绍和说明,探讨了工作流技术在数据仓库系统中的应用效果。     

任意处理时间的多处理机任务调度近似算法

研究多处理机任务调度模型P_mfixC_max,即在m个处理机系统中调度n个多处理机任务,每个任务指派到所需一组处理机上不可剥夺地执行。该问题应用广泛但早已证明为NP难问题,而且也不存在常数近似算法。在E.Bampis等人提出的Split-Round技术基础上,提出了该问题的一个改进的多项式时间近似算法,并从理论上证明了该算法在最坏情况下的近似比为2(2m)^-2,优于E.Bampis等人给出的3m^-2的结果。     

基于工作流的动态任务调度研究与实现

通过研究基于开源工作流Enhydra Shark与Jboss JBPM针对工作流动态分配任务的解决方案及其存在的问题,提出利用子流程来解决动态分配任务问题.即由执行人在执行任务过程中动态的开启子流程,提供了很大的灵活性,执行人可以根据业务需求选择合适的流程模板,避免预先定义子流程模板的弊端,很好地满足现代企业复杂多变的业务需求.在跨域应用中明显的体现出其优势,用户可以利用本地的流程模板完成外域的任务.最后,给出子流程的设计与实现方案,并将其应用于文档送审的实际项目中,取得了良好的效果.     

利用数据仓库技术开发文化稽查统计分析系统

提出统计分析系统不应该归入普通管理信息系统,而应该根据用户具体需求,充分分析其本质,利用数据仓库技术进行开发和实现,并阐述了如何利用数据仓库技术从需求分析到最终表现的开发全过程.     

医药商务系统中数据仓库解决方案研究

现有的医药销售管理信息系统不能提供决策支持,只能用于查询,进行简单的数据报表,造成企业信息管理的混乱,影响了管理层决策的科学性、准确性和高效性。鉴于此,文中讨论了数据仓库的概念及特征,进而分析在医药销售系统中建立数据仓库的可行性,根据具体的项目建立数据仓库系统和数据模型,为企业开发新的信息管理和决策支持系统奠定基础。     

云—边缘系统中跨域大数据作业调度技术研究

为了降低因处理这些跨域大数据带来的作业完成时延,首先提出了以最小化系列跨域作业平均完成时间为优化目标的在线随机调度算法ranTA。ranTA基于跨域资源的异构性在线地计算出各计算任务调度至不同位置的偏好,并以此偏好作为概率调度每个计算任务;更进一步,为了避免将“热点”数据积压在边缘集群造成性能瓶颈,提出基于ranTA的捎带式数据重分布机制ranTA-data,其将部分数据随任务执行留存至云数据中心。ranTA-data不仅优化了当前作业的完成时间,也能证明在该机制下系列作业的平均完成时间以大概率汇聚于最优解附近。大规模仿真实验表明,所提出的在线随机化算法与数据重部署机制相比传统方法,平均降低系列作业完成时间近30%。     

Lower bound algorithms for multiprocessor task scheduling with ready times

In this paper, we deal with multiprocessor task scheduling with ready times and prespecified processor allocation. We consider an on‐line scenario where tasks arrive over time, and, at any point in time, the scheduler only has knowledge of the released tasks. An application of this problem arises in wavelength division multiplexing broadcasting where the main future will be in the so‐called one‐to‐many transmission. We propose algorithms to find lower bounds of the minimum makespan, and present experiments on various scenarios.     

基于数据仓库的工作流日志更新*

为了对日志统一管理, 引入了数据仓库技术,聚合了来自不同数据源的日志数据, 并对工作流日志进行一系列更新处理后使之变成有规律的信息,工作流挖掘便利用更新后的日志信息进行分析建模,极大地提高了工作效率.     

基于禁忌搜索的多处理器任务调度算法

为合理利用多处理器资源,对任务调度算法进行研究,针对现有任务调度算法在任务规模较大的情况下全局寻优能力方面的不足,提出基于禁忌搜索的多处理器任务调度算法。对任务图不设任何约束条件,利用基于任务复制的TDS算法产生高质量的初始调度以降低算法复杂度,利用禁忌搜索算法全局寻优得到最优调度。实验结果表明,该算法可以有效降低任务调度长度,减少所需处理器数目。     

Data‐aware task scheduling on heterogeneous hybrid memory multiprocessor systems

In this paper, we propose a method about task scheduling and data assignment on heterogeneous hybrid memory multiprocessor systems for real‐time applications. In a heterogeneous hybrid memory multiprocessor system, an important problem is how to schedule real‐time application tasks to processors and assign data to hybrid memories. The hybrid memory consists of dynamic random access memory and solid state drives when considering the performance of solid state drives into the scheduling policy. To solve this problem, we propose two heuristic algorithms called improvement greedy algorithm and the data assignment according to the task scheduling algorithm, which generate a near‐optimal solution for real‐time applications in polynomial time. We evaluate the performance of our algorithms by comparing them with a greedy algorithm, which is commonly used to solve heterogeneous task scheduling problem. Based on our extensive simulation study, we observe that our algorithms exhibit excellent performance and demonstrate that considering data allocation in task scheduling is significant for saving energy. We conduct experiments on two heterogeneous multiprocessor systems. Copyright © 2016 John Wiley & Sons, Ltd.     

基于双层优先级的中继卫星系统任务调度算法

中继卫星系统在天基信息网中起着桥梁的作用。为充分利用卫星资源以提供快速可靠的数据中继服务,需要对高价值、高紧迫性的任务开展调度方法研究。首先,在分析中继卫星系统任务与资源的基础上,建立了多任务、多资源的调度模型。而后,提出了任务调度优先级和时间窗口选择优先级模型,并在此基础上提出了一种基于双层优先级的中继卫星系统调度算法。最后,根据算法在仿真算例中的应用可见：相比对照算法,基于双层优先级的调度算法更有利于满足高价值、高紧迫性任务的执行条件,从而提高了任务成功率和调度综合收益。     

多处理器系统可靠性约束下的节能调度算法

针对多处理器系统中随机到达的任务,设计了可靠性约束下的节能调度算法(ESACR)。该算法在满足任务截止期限的前提下选择一个预计产生能耗最小的处理器以节能,在单个处理器上运用最早截止期限优先策略进行调度并尽量使各个任务的执行电压/频率均衡,当新到任务在处理器上不能满足截止期限要求时则逐个调高前面未执行任务的电压/频率。同时,为保证系统的可靠性,ESACR给正在执行的任务预留错误恢复时间以保证当发生瞬时错误时该任务能被恢复。实验结果表明,与最高电压节能调度(HVEA)、最小能耗最小完成时间调度(ME-MC)、最早完成时间优先调度(EFF)相比,ESACR在保证系统可靠性的前提下节能效果最好。     

基于时间序列和任务调度的Web数据聚类算法

为了实现Web服务请求数据的快速聚类,并提高聚类的准确率,提出一种基于增量式时间序列和任务调度的Web数据聚类算法,该算法进行了Web数据在时间序列上的聚类定义,并采用增量式时间序列聚类方法,通过数据压缩的形式降低Web数据的复杂性,进行基于服务时间相似性的时间序列数据聚类。针对Web集群服务的最佳服务任务调度问题,通过以服务器执行能力为标准来分配服务任务。实验仿真结果表明,相比基于网格的高维数据层次聚类算法和基于增量学习的多目标模糊聚类算法,提出的算法在聚类时间、聚类精度、服务执行成功率上均获得了更好的效果。     

模糊数据流实时任务调度算法

针对数据流系统中实时查询任务的特点,提出了基于模糊综合评判的动态优先级调度算法。用语言模糊集描述任务的不确定性因素和不同的优先等级,利用最大隶属度原理确定任务的优先等级。算法充分考虑了任务的持续周期性、任务之间存在依赖关系与共享滑动窗口的特点对任务优先级的影响。从累积实现价值率、差分截止期保证率和CPU切换频率3个方面测试了算法的性能,实验表明所提出算法相对于HVF算法、LSF算法、模糊动态抢占调度算法都有很大的改进。     

基于工作流的卫星调度系统

根据当前卫星网络发展趋势和对卫星网络资源进行充分有效利用的应用需求,对卫星网络的特点进行了研究,分析了当前卫星调度系统研究的局限,并介绍了工作流模型以及根据卫星应用进行的相关改进.在此基础上,提出了一种针对由多个子任务构成的复杂任务,基于工作流模型的分层卫星调度系统.该卫星调度系统可以协同多种卫星资源,并自适应地调度卫星任务.对该卫星调度系统的体系结构、系统关键模块、调度流程以及几种优化机制进行了详细阐述.最后通过实验结果表明了该调度系统的可行性和有效性.