Linux机群负载监控系统设计与实现

机群系统的管理,需要通过负载监控系统来了解机群负载状况。本文介绍了为胜利油田计算中心设计和开发的Linux机群负载监控系统。通过读取proc文件系统,获得机群结点的实时运行信息;主监控模块采用Java语言设计,利用Java良好的跨平台性,实现对机群负载的跨平台监控;数据和控制命令通过TCP协议传输,可以在联网的任何一台计算机上对机群进行远程监控。     

基于机群中间件监控系统的设计和实现

该文提出了一种基于机群中间件的机群监控系统ClusterView,基于中间件的机群监控系统解决了大规模机群的可扩展性和可伸缩性、节点本身的低负载以及整个系统的高可用的问题,同时采用中间件技术有效地解决了直接访问被监控主机导致的安全和接口问题。文章概述了监控系统和中间件提出的背景,描述了中间件技术在机群监控中的关键作用,讨论了大规模集群环境下监控系统遇到的问题及利用中间件技术的解决方案,并对基于机群中间件的监控系统的设计和实现进行了详细的阐述。     

高效的机群监控信息采集模型

针对目前大规模机群监控系统性能和可用性存在的问题,提出了一种基于IEEE1394协议的机群监控信息采集模型.该模型根据IEEE1394特点,对IEEE1394节点管理模块进行详细分析,实现了用该模块进行监控信息采集,从而替换了Ganglia监控系统中用于监控信息采集的部分.实验结果表明,该模型降低了机群监控系统对机群系统产生的负载,有效地提高了监控信息的采集速率和机群监控系统的可用性.     

弹性体系结构的高性能机群管理监控系统设计与实现

本文提出了基于控制器设计思想的、具有弹性体系结构的高性能服务器管理监控系统的设计和实现方法,弹性的分层结构精简了管理系统通信路径,提高了机群规模扩展性和管理效率,利用控制器思想把具体的业务逻辑与通用的业务逻辑进行分离的弹性功能扩展方法,提高了系统功能扩展性.实践证明,该系统能够适应机群管理系统规模变化和功能变化的要求,方便高效的管理和监控异构高性能服务器系统.     

塔机在线无线远程监控系统设计

针对目前塔机安全监控系统中所存在的问题,设计了一种基于Zig Bee技术和GPRS技术的塔机无线安全监控系统,建立了塔机群在线无线远程监控平台,实现了对塔机群的在线监控和管理。阐述了系统的总体设计方案,并完成了各个模块的硬件和软件设计,实验表明:此系统实现了对塔机运行的实时监控,保障塔机设备安全正常运行。     

具有容错机制的机群监控系统

通过对大规模机群监控系统可靠性分析,提出了一种容错的机群监控节点模型.该模型针对Ganglia机群监控系统在处理监控节点故障时存在的问题,提出了将Ganglia机群监控技术和心跳技术相结合的解决方法,通过修改与两种技术相关的配置文件,实现了二者的无缝连接,有效地处理了监控节点故障的转移和恢复.实验结果表明,该模型避免了机群监控节点故障,增强了监控系统的可用性,提高了无人值守的可信度.     

基于强化学习的多机群网格资源调度模型

在由多个计算机集群构成的多机群网格环境下，为了解决数据并行型计算（DPC）与计算资源的有效匹配问题，提出了一个基于强化学习机制的网格资源调度模型；给出了由多个计算机机群组成的多机群网格、逻辑计算机机群、数据并行型计算和一系列Agent的定义；利用多Agent的协作做竞争机制、基于强化学习的匹配知识库的修正方法，研究了逻辑计算机机群与DPC资源供需之间的有效匹配问题；描述了网格的资源调度模型。理论分析和实践表明，该模型有效地解决了多机群网格环境之下数据并行型计算所需的资源优化使用问题。该模型适合于基于多机群网格的数据并行型计算。     

商业软件的并行网格计算平台模型及实现

以ANSYS和FLUENT为例,分析了商业软件在工作站机群并行运行的优势.将并行运行与网格计算相结合,提出了两者结合的软件结构和硬件结构,实现了并行计算资源的Web发布,从而提高商业软件和高性能计算资源的利用率,为大规模科学工程计算提供了良好的运算平台.同时平台实现用户认证,过载保护和实时监控功能.     

建立异构机群系统并行计算环境的一种解决方案

机群技术的快速发展,使得充分利用现有网络和计算机资源建立机群系统以提供高性能计算能力成为可能。文章讨论了建立基于网络的机群系统并行计算环境的一些主要问题,如负载平衡、可视化监控等,并提出和实现了建立机群并行计算平台的一种解决方案。     

塔式起重机远程安全监控管理系统设计

针对起重设备大范围、分布式工作模式和高效、安全运行作业的需求,设计了基于GPRS的远程监控系统,实现对起重设备群的安全监控。系统由远程监控中心、无线传输网络和机载监控前端组成,以ARM9和WinCE6.0为平台设计监控前端,对塔机运行进行监测与安全预警;采用GPRS和Internet网络实现了监控中心和监控终端之间的数据传输;利用Java设计了人性化的远程监控中心调度和管理软件,实现了监控中心对机群的同步监控与统一管理。现场运行证明该系统具有良好的性能。     

集中式集群资源调度框架的可扩展性优化

集中式集群资源管理系统既能够确保全局资源状态的一致性亦拥有多种调度模型,因此被广泛应用于实际系统中.但是,当集中式资源管理器在接收并处理大规模的周期性心跳信息时,由于其采用单一节点来维护全局资源状态,所以资源管理器的负载压力急剧增加,导致调度能力降低,影响了集群系统的可扩展性.针对上述问题,提出一种“没有变化就不更新”的思想,取代集中资源管理的定时更新机制,改善了集中式资源管理系统的可扩展性.首先,通过计算节点引入基于差分的心跳信息处理模型,使得未发生状态变化的节点不必发送心跳消息,从而减少消息发送的规模和次数;其次,针对节点宕机监测过程,提出基于环形监视的节点监控模型,让各个计算节点之间互相监视对方的宕机状态,从而将周期性监测压力转移到计算节点;最后,给出这2种模型在集中式资源管理系统YARN上的实现,并针对改进前后的系统进行实验测试.通过实验验证,当集群达到1万个节点且心跳时间间隔3 s时,改进后YARN系统的心跳信息处理效率以及资源更新效率相比原YARN系统提高40%左右.另外,改进后YARN系统管理集群节点规模相比原YARN系统扩大1.88倍以上.     

卫星群分布式技术的研究与实现

随着航天技术的发展,越来越多的信息需在星上处理,卫星群分布式技术已成为近年来研究的热点. 与地面环境不同,卫星受到体积、功耗、空间辐射等条件的限制,在卫星群建立分布式环境需掌握架构设计、操作系统、资源管理等关键技术. 针对以上问题,本文先研究卫星群分布式计算与存储架构、其次研究卫星群分布式资源监控的实现过程,最后通过卫星群验证系统证明其可行性与优越性.     

Kubernetes可视化管理平台

为了方便云平台的管理,摆脱使用Kubetcl命令行方式操作Kubernetes集群的繁琐,前台采用React框架构建UI界面,后台使用Fabric8框架调用Kubernetes云平台的功能接口,前后端数据的交互借助Axios框架来完成。最终成功完成了基于Docker的Kubernetes可视化管理平台的开发。通过该平台,管理人员可以操作Kubernetes集群中Pod、Namespaces、Service等核心组件。并且在此基础上,该文借助时序数据库InfluDB和可视化监控工具Grafana,实现了平台资源的监控。通过集成Harbor管理页面,可以对Docker私有镜像仓库进行管理。最终,Kubernetes可视化管理平台实现的功能主要包括:物理节点信息显示,Pod、Controller、Service、Namespace的增删改查,平台资源监控和私有镜像管理。这种所见即所得的管理方式,可以充分发挥容器集群自动化部署、自动化扩缩容、自动维护的特性。同时,也使得容器集群的管理更加方便,极大地提高了平台管理的效率,降低了管理人员的负担。     

Detecting similarities in virtual machine behavior for cloud monitoring using smoothed histograms

The growing size and complexity of cloud systems determine scalability issues for resource monitoring and management. While most existing solutions consider each Virtual Machine (VM) as a black box with independent characteristics, we embrace a new perspective where VMs with similar behaviors in terms of resource usage are clustered together. We argue that this new approach has the potential to address scalability issues in cloud monitoring and management. In this paper, we propose a technique to cluster VMs starting from the usage of multiple resources, assuming no knowledge of the services executed on them. This innovative technique models VMs behavior exploiting the probability histogram of their resources usage, and performs smoothing-based noise reduction and selection of the most relevant information to consider for the clustering process. Through extensive evaluation, we show that our proposal achieves high and stable performance in terms of automatic VM clustering, and can reduce the monitoring requirements of cloud systems.     

基于CIM的机群系统资源信息模型

通过对CIM进行面向机群系统的扩展和裁减，设计了一种基于CIM的机群系统资源信息模型，并且在Linux上用LDAP实现了这个信息模型，为表示机群系统的资源信息提供了一种统一的方式，为大规模机群系统的资源信息服务、高性能计算服务和其他相关应用打下了良好的基础。     

支持产业集群的资源共享环境结构与技术研究*

在分析产业集群资源信息共享需求的基础上,论述了支持产业集群开放资源服务的资源共享环境的概念和内容;提出一种由客户端、代理存储、安全维护、应用服务和公共数据中心组成的支持产业集群资源共享服务的五层体系结构;分析论述了同一产业集群内各成员企业资源信息通过Internet实现共享与交换的方法和关键技术,为建成可实施的服务与产业集群网络化制造的资源服务共享环境打下基础。     

虚拟环境下Web服务动态负载均衡策略改进

为了提高Web服务集群的伸缩性和自动化能力,从虚拟化和负载均衡两方面研究集群系统,对现有负载采集策略做了改进,设计并实现了一种可根据负载值自动控制集群规模的模型XCluster。新模型运行在Xen提供的虚拟化环境中,实时监视宿主机层和虚拟机层的负载状态,随着集群系统总负载的增长,逐渐引入新的虚拟机来扩大集群规模,同时将任务合理分配到各个虚拟机节点上;当总负载下降时,逐渐关闭虚拟机缩小集群规模,释放出来的硬件资源又可以提供给其他集群系统使用。理论分析和实验结果表明,XCluster只需占用很少的网络通信量完成信息收集和命令下达,能够充分利用虚拟机易于管理的优势完成后端节点的调度,并且在任务总量相同的情况下,使用尽可能少的集群节点来执行任务。     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点问的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15％～20％。     

一种自适应的网络代理集群负载均衡策略

现有动态负载均衡策略难以有效应用于任务资源需求特征动态多变、资源需求信息难以准确获取的网络代理集群中,为解决该问题,提出一种适用于网络代理集群的自适应负载均衡策略。该策略的负载模型可以随任务资源需求特征的变化自适应地调整,能够更准确地表征系统的负载状态和节点间的负载差异。实验结果表明,使用该自适应负载均衡策略的网络代理集群的平均响应时间比其他负载均衡策略低15%~20%。     

云计算环境下的资源监测模型研究

云计算环境下的资源监测是云计算平台资源管理的重要组成部分,为资源分配、任务调度和负载均衡等提供依据。由于云计算环境下资源的透明虚拟化和弹性化,并需要对用户使用资源进行计费,因此原有的资源监测方法不能完全满足云计算环境的要求。为此,根据云计算平台的特点,提出一种适应云计算环境下的资源监测模型,该模型通过虚拟机监测器和Java调用C/C++得到资源的状态信息。通过理论分析和实验表明,该模型可以较好地收集节点的资源监测信息,满足云计算平台特性的要求。