一个基于偏序的定时投入关联网络作业调度算法

基于偏序的定时投入关联网络作业调度算法在一个大型作业管理系统中得到了应用，它的基本思想是对定时投入的关联网络作业找到一个最佳执行序列，以便减少互相关联的网络作业在执行时的等待时间，该算法首先将同时请求投入的多个有关联关系的网络作业按照偏序关系进行排序，形成关联作业，然后推算出网络作业的阶位值，最后产生一个最优的投入序列，从而大大提高关联作业执行时间，实际系统应用表明，此算法对作业管理系统中定时投入关联网络作业的快速执行有很强的优越性。     

作业调度算法研究

作业管理是操作系统的重要课题,同时也是很多实际应用领域中十分重视的课题。在操作系统作业管理中关于作业调度有两种基本的算法：先来先服务算法和短作业优先算法。在具体的应用中有不同的评价标准。比较常用的是以平均带权周转时间作为评价的标准,通过推理,证明短作业优先算法优于先来先服务算法。     

一种基于流作业的网格作业调度研究

在基于网格环境的一些网格应用中,用户需要提交一种作业类型,该作业可以被分解为逻辑上独立的元作业,这些元作业不存在依赖和通讯关系,并且它们的执行需要大量的数据移动。针对这种作业类型,本文提出了一种基于流作业的网格调度模型。在该模型中,这些独立的元作业像"流"一样自主地流向各个计算节点去执行,各计算节点接收的流量取决于其计算能力,并避免"断流"问题。同时,该模型还分离了作业流和数据流,实现了作业逻辑控制和数据控制的分离,提高了调度的灵活性。本文将该调度模型应用于药物虚拟筛选应用中,该模型能够充分利用计算节点的计算能力。     

基于蚁群优化算法的服务网格的作业调度

提出了利用蚁群算法来优化服务网格的作业调度系统的方法和一个两层的作业调度模型，该模型可以在网格的动态和异构环境下实现对作业执行时间的预测，然后根据作业的预测执行时间并利用蚁群优化算法使适应函数取得最小值，从而得到最优化的作业调度。基于开发的校园网格实验床，通过实验显示该方法可以优化服务网格的性能，减少作业的平均执行时问，提高系统的吞吐率。     

基于云计算的作业调度算法研究

通过对现有云计算进行系统的研究,设计出一套作业调试算法解决方案,实现云计算作业调试算法,并应用在云计算模型上,通过模拟平台进行实验分析,证明解决方案是可行的。     

基于本地化差分隐私的键值数据关联分析

在群智感知系统中,从分布式数据源中持续收集和分析数据可以为先进的数据挖掘模型提供决策支持.由于数据中可能包含个人相关的信息,数据的采集和分析过程中通常伴随着隐私泄露的风险.本地化差分隐私作为先进的隐私保护方案可在用户的隐私性和数据的可用性之间提供较好的权衡.当前,键值数据作为异构类型数据,其同时含有分类数据和数值数据,...     

基于改进双档案多目标进化算法的柔性作业车间批量流混排调度

针对柔性作业车间批量流调度问题,基于快速换模技术,考虑可变子批划分柔性、子批混排加工柔性、自动换模柔性和物料运输柔性,建立以最小化完工时间和加工子批总数为目标的混排调度优化模型,并提出一种改进双档案多目标进化算法以优化目标函数。基于进化算法框架,设计了基于超体积指标和基于改进帕累托支配的双档案筛选机制,以平衡种群的收敛性和多样性;针对批量流混排调度问题特征,在解码阶段提出正/逆解码和子批拆分左移策略,在邻域探索和全局搜索阶段分别设计子批划分和混排调度的自适应进化算子,以提高算法的全局搜索与局部搜索能力。基于不同规模算例,测试了提出算法与经典多目标算法的性能。实验结果表明,该算法在收敛性与多样性上具有明显优势。     

基于LT-backfilling算法的集群作业调度系统

在胖节点集群系统中,目前的reservations, backfilling等主流调度算法未能充分考虑单节点过载情况。该文在传统backfilling算法基础上,充分考虑节点当前负载,将预约、回填策略相结合,提出了一种新的LT-backfilling调度算法。设计了基于XML业务流程模板的二层作业调度系统,用户不仅可以提交单个作业,而且可以提交一组具有数据相关性的作业流,使得作业调度系统更加实用化。 LT-backfilling;负载均衡;作业调度;XML;作业流     

流调度算法验证平台的设计与实现

在VOD（视频点播）系统中,优秀的流调算法可以显著的提高系统服务能力和服务质量,典型流调度算法都针对大型视频点播系统,因此我们不可能为验证算法而建立实际的系统。我们设计和实现了一个媒体流调度算法的验证平台,在这个平台中,我们建立了用户行为的数学模型,实现了用户行为仿真器;用户行为仿真器生成的用户行为样本,可以运行在装载了不同算法的仿真系统中,在这个平台中,我们还提出了变强度用户流的概念,使平台对实际用户点播服务的仿真更加客观。     

大数据环境下MES作业计划与调度能力云服务化研究

云制造技术给制造企业带来机遇的同时,也为其制造执行系统MES的设计与实现带来了新的挑战。为了解决单件小批MES中作业计划与调度优化问题,首先设计了一个从作业计划静态制定,到作业执行情况实时监控与主动感知,再到异常事件智能响应,最后到作业调度动态调节的闭环体系结构。接着针对异常信息实时获取与异常事件发现、异常事件智能化处理以及作业计划与调度优化算法计算能力服务化三个子问题,依次进行了问题分析并给出了技术解决方案。最后,以哈尔滨电机厂为案例对象,综合利用IEC/ISO 62264标准、大数据分析与挖掘方法以及由虚拟化、服务化和SOA等组成的云计算技术实现了单件小批MES作业计划与调度综合优化系统,验证了上述理论与方法的有效性。     

云计算环境下基于关联量的数据部署与任务调度

科学工作流处理的问题复杂,依赖于集群或网格平台,云计算的出现为科学工作流又提供了一个可供选择的平台;云计算环境下数据密集型应用的科学工作流处理和传输的数据量巨大,减少数据中心不同集群间数据的传输次数和传输量是个挑战性的问题。科学工作流要处理的数据间存在依赖关系,基于数据间的依赖关系最大关联量建立关联矩阵,通过键能算法对关联矩阵进行聚类,把最大相关的数据聚集到一起,然后通过K分割方法,把聚类矩阵分割为k个部分,每个部分部署到数据中心相关的集群里。仿真结果表明,本方法能有效地减少数据中心不同集群间数据的移动次数和移动量。     

Formally modeling and analyzing cost‐aware job scheduling for cloud data center

With the rapid development of cloud computing, many distributed data centers have been deployed. This means larger energy consumption requirements from the data center. How to reduce the cost of data center has received significant attention recently. Although there are several efforts in studying energy consumption of the data center, very few have considered modeling and analyzing cost‐aware job scheduling for the cloud data center. To address this emerging problem, we propose a systematic approach that considers both basic elements and their relationships in cloud data center. First, we present a formal language to describe the cloud data center, and a job scheduling net is proposed to formally model the basic elements such as user request, Web portal, data center, and server. Second, we minimize the total cost of the cloud data center by considering the multidimensional resource and local electricity price on the basis of the state space of constructed model. The dynamic job scheduling algorithm and its specific execution steps are proposed based on the alternating direction method of multipliers algorithm. Third, the operational semantics and related theories of Petri nets for establishing the correctness of our proposed method are presented. Finally, a series of simulations are performed to illustrate that the proposed method can guarantee the correct behavior of job scheduling in the cloud data center while meeting the required cost.     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

Cloud data analysis using a genetic algorithm‐based job scheduling process

Data analysis plays a major role in different research applications that require a large volume of data. Cloud computing can provide computer processing resources and device‐to‐device data sharing based on user requirements. The main goal of cloud computing is to allow users and enterprise of varying capabilities to store and process data in an efficient way and to access and distribute resources. However, a crucial problem in cloud computing is job scheduling for numerous users. Prior to the implementation of job scheduling, jobs must be categorized according to degree of criticalness, privacy and time required. Based on the experimental results, the combination of tasks was successfully determined by the processor. In heterogeneous multiprocessor systems, customized job scheduling is highly critical for obtaining optimal job performance. In this paper, an evolutionary genetic algorithm was used for obtaining better results in job scheduling, thereby improving performance in the cloud system in this regard. The genetic algorithm‐based job scheduling process introduced minimizes the investment in time through effective allocation of user requests in order to enhance the overall efficiency of the system.     

基于云模型的动态交通数据流软划分算法

提出了一种交通数据流软划分算法,该算法利用STREAM算法对交通数据流进行了聚类分析,得到了能够反映交通状况不同特征的聚类结果,然后对聚类结果进行了数据挖掘和交通数据流趋势预测。最后在数据流值预测结果的基础上,采用基于云模型划分的算法对交通的预测流值进行分析,得到了更加灵活的控制策略。     

云数据中心资源调度机制研究

云数据中心包含大量计算机,运作成本很高。有效整合资源、提高资源利用率、节约能源、降低运行成本是云数据中心关注的热点。云数据中心通过虚拟化技术将计算资源、存储资源和网络资源构建成动态的虚拟资源池;使用虚拟资源管理技术实现云计算资源自动部署、动态扩展、按需分配;用户采用按需和即付即用的方式获取资源。因此,数据中心对提高资源利用率的迫切需求,促使人们寻求新的方式以建设下一代数据中心。     

一种基于演化计算的序列密码分析方法

序列密码是一类重要的密码,演化计算是一种重要的智能计算。在研究利用演化计算进行序列密码分析方法的基础上,具体给出了一种利用演化计算对非线性滤波型序列密码体制进行分析的方法。分别在移位器初态未知和抽头位置未知两种情况下,对滤波流密码体制进行了密码分析。实验结果表明,该算法的攻击复杂度远远小于穷举攻击的复杂度。     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。