动态优先级作业调度算法与实现

介绍了作业调度几种基本算法及其优缺点,设计了综合几种作业调度基本算法优点的动态优先级作业调度算法,并给以方案实现,对基于微机集群的各种应用有很大的参考作用。     

一种Hadoop YARN的资源调度机制

YARN is a resource management system widely used in Hadoop. It supports MapReduce, Spark, Storm and other computing frameworks, and has become the core component of big data ecology. However, in Hadoop YARN’s existing resource scheduler, a resource guarantee mechanism based on resource reservation, will produce resource fragmentations, leading to a waste of resources. In order to improve the resource utilization and throughput of the cluster, this paper proposes a resource allocation mechanism based on reservation and backfill. In this mechanism, based on the priority of the job, it decides whether to make a reservation to the resource and introduce a backfill strategy to backfill the resource without affecting the execution of the reservation job. Experiments show that the resource scheduling mechanism based on reserved backfill can effectively improve the resource utilization and throughput of Hadoop YARN cluster.     

一种基于优先级的数据流查询实时调度策略

针对一些高关键性的特殊应用，把传统实时系统中的截止期、空闲时间、关键性等概念引入数据流管理系统，根据系统中连续查询的特征，赋予其新的涵义。提出了一种基于优先级的实时调度策略，使得流截止期较早、空闲时间较短、关键性较高的查询具有更高的优先级；给出了一种优先级树结构，使得基于优先级的查询执行序列唯一化。实验表明该策略提高了连续查询的实现价值率和连续查询调度的成功率。     

云计算中面向SLA的作业分层优先级调度策略

为了满足云计算中服务提供商和服务消费者双方协商的服务等级协议(SLA),提出在云计算环境下采用元调度和本地调度两层框架结构;在每层上采用了多级反馈队列调度算法,设置了基于截止期限、短作业优先等不同优先级的队列,并设计元调度器完成资源的分配和监控。实验仿真结果表明,该调度策略可以满足用户对作业处理时间的需求,保障了云计算SLA。     

一种基于优先级表的实时调度方法

针对单处理器实时系统动态调度问题进行了研究,分析任务的到达时间、执行时间、截止时间和空闲时间等任务属性的敏感度和影响度,提出了一种基于优先级表的调度算法PTBM,使相对截止期越小、空闲时间越大的任务优先级越高。对关于实时任务属性敏感度和影响度的结论验证和与传统的EDF、LLF和PTD算法的对比进行仿真实验,仿真结果表明基于优先级表设计的实时调度算法PTBM具有较高的调度成功率。该方法可应用于实时系统的实时任务的动态调度中。     

基于Hadoop YARN的TensorFlow GPU集群的调度扩展

本文研究并实现了大数据平台 Hadoop YARN 与深度学习框架 TensorFlow 的结合。通过对 DRF 算法的扩展,使得 Hadoop YARN 在原先支持 CPU 和内存的基础上,可以对 GPU 资源进行管理和调度。通过 YARN 的应用接口,把 TensorFlow 封装成了 YARN 的应用程序之一,把原来的分布式程序在多节点手动分发启动改为了在单节点自动分发启动,单机版不变。本文设计了多组实验对 YARN+TensorFlow 进行了多方位的测试,实验结果表明 YARN 和 TensorFlow 相结合相比原生 TensorFlow 程序具有相似的加速比,可以满足单系统多用户对 GPU 资源的使用,有效提高 GPU 资源的使用效率和编程人员的工作效率,增加系统的复用率。     

一种基于IEEE802.11 DCF的优先级调度机制

针对IEEE 802.11DCF机制的QoS问题,提出一种新的分布式优先级调度机制。该机 制对实时业务使用了不同于普通DCF的后退方法,以较高的概率保证了实时业务访问信道的优先 级,同时在实时业务内部采用了一种近似FCFS的调度方式以限制实时业务的最大延迟。     

区分服务中一种动态概率优先级调度算法*

提出了一种动态概率优先级算法DPP,针对一类对延时和丢包率要求相对较高的应用,根据AF1队列长度动态调整概率计算参数p,有效地解决了由于突发流量带来的QoS性能下降问题。不同实验环境下的仿真结果表明,DPP算法有效改善了突发性对分组平均排队延时的影响,减少了分组丢包率。     

一种基于流作业的网格作业调度研究

在基于网格环境的一些网格应用中,用户需要提交一种作业类型,该作业可以被分解为逻辑上独立的元作业,这些元作业不存在依赖和通讯关系,并且它们的执行需要大量的数据移动。针对这种作业类型,本文提出了一种基于流作业的网格调度模型。在该模型中,这些独立的元作业像"流"一样自主地流向各个计算节点去执行,各计算节点接收的流量取决于其计算能力,并避免"断流"问题。同时,该模型还分离了作业流和数据流,实现了作业逻辑控制和数据控制的分离,提高了调度的灵活性。本文将该调度模型应用于药物虚拟筛选应用中,该模型能够充分利用计算节点的计算能力。     

一种混合优先级的防危调度算法

为增强实时系统任务过载时的防危性,提出一种混合优先级的防危调度算法,其优先级由相对截止期优先级和相对松弛度优先级组成,通过相对松弛度预测任务的可完成性,并采用完全抢占方式防止处理器资源的竞争抖动。仿真结果表明,该算法可充分利用处理器资源,能在发生瞬时过载时有效降低任务的截止期错失率。     

PBS中的任务调度以及一类资源分配失效的解决

首先对PBS强大的任务调度功能做了详细的介绍,然后实现了PBS和MPICH的绑定,从而解决了使用PBS和MPICH所带来的资源分配失效的问题。     

基于YARN资源调度器的MapReduce作业数调节方法

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而, YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce(MR)作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置, MR作业完成时间分别减少53%和14%左右.     

uClinux进程调度器的实现分析

针对操作系统中进程的调度机制,依次对其调度方式、调度策略、调度时机进行了分析,并结合uClinux中进程调度实现的核心源代码,剖析了uClinux中进程调度器的实现原理,展示了uClinux中独具特色的进程调度机制.     

Crossbar调度器的设计和实现

宽带网络交换设备常采用交换开关crossar作为内部交换阵列,集中的crossbar调度器是crossbar高效工作的关键,ISP ）Input Serial Polling)是一种简单高效的crossbar调度算法,本文详细介绍了ISP调度器的设计和实现。     

Linux温度感知的调度器研究与实现

针对处理器的温度管理问题,在操作系统层次上提出一种轮转调度算法,改进基于门限温度的调度算法,并在Linux内核中实现了这两个算法。将SPEC2K进行分类并组合成不同冷热特性的负载,在Intel双核处理器下进行了测试。表明Linux基准调度程序在调度方面缺乏有效的温度管理。基于门限温度的调度算法把热的任务迁移到冷的处理器上,缓解了处理器的温度过高问题。轮转调度算法有规律地让任务在双核上执行相等的时问,更好地平衡了处理器的温度,并且系统的吞吐量不受影响。     

一种基于Web的课程网络教学软件的设计与实现

为了提高课程教学质量和效率,研究采用IIS+ASP网页编程+ACCESS数据库+SQL查询语言实现开发教学网站网上教学平台。教学平台服务包括管理员、教师和学生三个不同身份的用户,通过平台可以方便教师上课和学生之间交流。实现了教学资源管理、资料下载和上传、作业管理、教学评价、课程论坛、在线调查等功能。通过平台提高了学生对本课程的学习积极性和主动性。     

基于汇编代码的指令调度器的设计与实现

随着嵌入式处理器在各个领域的广泛应用,嵌入式软件的复杂度越来越高.充分发掘嵌入式处理器的性能,需要高级编译优化技术的支持.指令调度是编译器发掘程序指令级并行性的关键技术之一.设计并实现了一个基于汇编代码的指令调度器.实验结果表明,在TECC嵌入式编译器中集成指令调度器后可显著提高程序的性能.     

AUTOSAR基础软件调度器的设计与实现

在AUTOSAR平台的软件架构中,基础软件层包含大量接口定义完整的标准模块。开发AUTOSAR应用时需要将基础软件层模块嵌入到操作系统上下文中,由操作系统来触发模块的主处理函数,并提供必要的数据同步机制。为此,提出一种基础软件调度器模块的设计及实现方案,将上述模块嵌入到指定项目的上下文中。实现结果表明,该方案能节约操作系统资源,提高模块可靠性和稳定性。     

RTAI混合任务调度器的设计与实现

针对RTAI系统只能调度单一类型任务的问题,提出一种可调度多类型任务的混合任务调度器。该调度器支持CBS调度策略,并采用LXRT机制关联软实时任务和CBS服务器,根据服务器调度策略对软实时任务进行调度。实验结果表明,该混合任务调度器在保证硬实时任务正常运行的同时提高了软实时任务的服务水平。     

一种基于IPSec的VPN实现

虚拟专用网(VPN)是解决开放网络中私有信息安全传输的重要技术,而IPSec(IP安全协议)是实现VPN的有效手段。文中介绍了VPN技术的概念及关键技术,详细阐述了IPSec的结构、工作模式及其相关协议,最后具体给出了一个基于IPSec的VPN的实现,分析了它的工作原理。