一种面向异构大数据计算框架的监控及调度服务

各种类型的大数据计算框架存在各自专用的管理方法。传统的监控和调度服务在异构环境下的操作 由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业。这不仅浪费了集群的可用资源,而且增加了计算作业的等待时间。针对上述两个问题,提出了一种面向异构大数据计算框架的一体化监控及动态调度管理服务。该服务可以自动适应并监控多种类型的大数据计算框架及计算作业,并对多类型作业提供一体化调度。针对Hadoop和Storm两种计算框架,实现了原型系统并进行了实验。实验结果表明,所提服务在异构环境下的大数据计算框架中能降低人工操作的复杂度,并且能提高作业的调度效率。     

超大规模计算集群监控系统的设计与实现

【背景】传统集群监控软件在性能、灵活性、可扩展性上无法满足超过10000节点的超大规模计算集群以及多集群系统的监控管理需求。【目的】亟需设计研发新型集群监控系统,提升超大规模计算集群和多集群的运行管理能力与效率。【方法】本文采用总分架构设计,利用消息中间件、分布式存储、REST技术实现了一种超大规模计算集群监控系统。【结果】该系统支持监控指标自定义、数据主动上发、自动告警等功能,具有良好的横向扩展能力。已部署于多套计算集群中,满足上万节点和设备的监控需求,日均采集数据逾200GB。【局限】由于监控指标繁多、监控数据量庞大,针对业务场景的数据关联分析能力有待提升。【结论】本文工作满足了超大规模计算集群及异地多集群系统的自动运管需求,采用的方法对更大规模集群甚至E级计算系统的运管工具的研发具有积极借鉴意义。     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型,探讨网络集群计算系统中的并行任务调度问题,首先证明了一般网络集群计算系统中调度算法的可近似性难度,然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法;然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析,结果表明该文的启发式算法比文献中的算法在性能上效果更好。     

面向高性能计算环境的作业优化调度模型的设计与实现

高性能计算环境聚合了多个分布在不同地域、不同组织机构的高性能计算资源,面向用户提供统一的访问入口和使用方式,由系统中间件根据用户作业请求匹配合适的高性能计算资源。随着环境应用编程接口的开放以及作业请求数量的大幅增加,面对高并发作业提交请求时,目前采用的即时调度模型会由于网络等原因导致一定数量的请求处理失败,同时缺乏灵活性。针对此问题,优化了环境作业调度模型,引入作业环境队列,细化了作业系统层状态,增加了作业调度策略可配置性,并基于环境中间件SCE实现了系统原型。经测试,在单核心服务每分钟处理近200个作业提交请求的工作负载下,无因系统和网络原因引起的作业提交出错现象;在共计1 000个作业中,近500个作业提交命令请求在0.3s以内完成,800余个作业提交命令请求在0.5s以内完成。     

公交车辆的监控和调度系统

开发了一个简易多功能的公交车辆监控和调度系统,系统由多功能车载终端和监控调度软件组成;车载终端由超低功耗单片机MSP430F1611、GPS、GPRS和自动计数等模块组成,该终端以最低的硬件资源实现了远程监控、自动报站和超速报警等多项功能;监控调度软件结合GIS平台和智能调度管理,实现对车辆实时动态地监控和智能调度;TCP/IP通讯协议保证了数据交换的实时性和准确性;系统测试证明了该系统的可靠性和稳定性.     

浅谈综合网管系统在电力网络与信息系统调度监控中的应用

信息网络系统作为坚强智能电网的支撑保障体系发展迅速,信息主机、网络设备数量已达上千台规模,本文通过借助综合网管系统实现,对信息机房主机、网络设备的运行状态的实施监控,关键性能指标的告警规则设置,并通过语音播报服务和短信平台等多通过实现告警实时通知,并与信息运维综合监管系统间通过接口级联,实现调度监控多平台展示,提高信息调度监控中心整体监控能力。     

供水调度监控系统的主站体系结构及软件设计

本文介绍了供水调度监控系统的主站体系结构以及实时对等通信、数据库系统、动画连接、系统组态的设计和实现。     

超大规模车间作业调度优化方法研究与仿真

研究超大规模车间作业的高效调度问题.超大规模的生产作业中,由于调度规模较大,一些非主要联系的生产调度之间存在可能诱发主要调度联系冲突的可能.传统的基于遗传算法的车间作业调度方法在应用到超大规模车间作业调度环境下时,由于冲突的存在很难建立准确的调度模型,使得模型陷入收敛效率过低,早熟等缺陷,调度效率降低.为解决上述问题,提出一种最优家族遗传算法的超大规模车间生产调度方式.通过在种群优良个体附近构造最优家族,在相应的调度家族微空间中进行精确搜索,从而缩小了搜索范围.仿真结果表明,改进算法对大规模的车间调度具有搜索速度快、稳定性强的特点,提高了调度的效率.     

视频监控系统中面向用户的接入调度策略研究

给出了一种用于数字视频监控系统的请求服务模型,以及该模型下的调度算法和拥塞反馈控制策略。该算法充分考虑到视频监控系统的特殊需求,并借由主动网的思想,在系统资源不足的情况下给出了一种有效的解决方案。     

面向5G边缘计算的Kubernetes资源调度策略

容器云是5G边缘计算的重要支撑技术,5G的大带宽、低时延和大连接三大特性给边缘计算带来较大的资源压力,容器云编排器Kubernetes仅采集Node剩余CPU和内存两大资源指标,并运用统一的权重值计算Node优先级作为调度依据,该机制无法适应边缘计算场景下精细化的资源调度需求.面向5G边缘计算的资源调度场景,通过扩展K...     

基于云计算的作业调度算法研究

通过对现有云计算进行系统的研究,设计出一套作业调试算法解决方案,实现云计算作业调试算法,并应用在云计算模型上,通过模拟平台进行实验分析,证明解决方案是可行的。     

云计算集群服务器系统监控方法的研究

随着云计算技术越来越多地应用到信息产业的各个领域,云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成,其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统,保证其高性能运行,必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是,传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究,从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨,构建了一个保证云计算集群系统高性能运营的云系统方案。     

网络并行计算系统中基于多处理机任务的资源调度模型

简要描述了网络并行计算系统中任务调度问题和经典的多处理机任务调度研究现状,并将两者结合到一起建立网络并行计算系统中的新型调度模型,较详细地论述了多处理机任务的定义,然后还讨论了该模型求解的近似调度策略及其近似优化问题,给出了其特例Pm｜fix｜Cmax问题的最优调度的时间跨度下界。     

淤地坝监测场景下边缘计算协作式任务调度方法

针对目前我国西北地区淤地坝实时监测问题,研究了淤地坝监测与预警任务的调度方法.为避免淤地坝坝体隐患发现不及时,提高预警系统的时效性,本文考虑了任务卸载至边缘服务器的平均等待时间,提出了一种淤地坝监测场景下边缘计算协作式任务调度方法.根据任务计算量、边缘服务器计算能力等信息建立计算任务完成时间模型,然后采用模拟退火算法优...     

基于网格计算池模型的作业调度策略研究

在现阶段,网格的计算池模型是一种较实用的网格实现方式,其资源的查找和分配机制也相对简单。文章根据计算池模型的特点,参照织女星网格的体系结构,将基于最短路由转发的资源发现机制与任务调度算法相结合,提出了一种新的网格任务调度策略,并给出了简化模型清晰地描述了任务在此策略下全部的执行过程。     

面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。     

基于资源监控统计的云计算主动调度方法

现有的云计算资源调度策略没有考虑资源池的总体资源需求,造成了资源的损耗,影响虚拟机的正常运行．提出了一种基于资源监控统计的云计算主动调度方法,充分考虑资源池的总体资源需求情况,引入监控数据采集模块和监控数据分析模块,同时加入监控数据库作为系统的基础,定制一套适用于资源调度的虚拟机监控数据统计和分析的方法,使得基于监控统计数据的虚拟机调度方法可以轻松实现．     

网格计算中一种改进的工作流调度算法

网格计算中如何有效地实现工作流的调度问题是目前的研究热点。文中综合考虑了资源节点的动态负载和服务能力,提出了一种改进的调度算法（AWSA）。该算法首先对任务的优先级进行降序排列,然后依次为它们选择具有最大截止时间约束的服务站点作为其候选资源,最后,依据资源站点的任务分配情况和负载变化趋势,白适应地实现从任务资源请求到站点的映射。仿真实验结果表明,文中方法是有效的,在作业拒绝率和作业调度长度方面,AWSA的性能要优于已有的方法。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。