基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

基于校园网的集群服务系统

随着计算机技术和网络技术的迅猛发展,高性能计算机集群系统的应用也变得越来越普及。该文首先讨论了校园网中基于Linux环境的集群服务系统,随后以曙光TC4000集群系统为实例重点说明校园网中集群系统的管理、分布以及在校园网中结点的高性能应用。     

基于集群模式的日志归集与分析系统的设计与实现

随着企业生产系统规模的扩大和周边接口数量的增加,各种类型的日志也相继的产生,尤其在集群环境中,如何获取与分析数十甚至上百台服务器节点上的日志信息已经成为企业亟待解决的问题.本文提出了一种基于集群模式的日志归集与分析的解决方案,利用Flume的高可靠、分布式特性,将集群环境下的日志收集到统一资源进行处理.提出采用基于Hadoop-Hbase的分布式数据库作为数据存储模块,保证了数据的高容错、高吞吐量,重写了基于Hbase数据库的各种接口API,来解决数据存入和读取时的关键问题.研究表明,该系统可协助企业及时、高效的分析系统产生的日志信息,减少开发运维的工作量,目前已经在金融企业核心系统得到实际应用,并取得了较好效果.     

基于集群的活动持久性对象的处理技术

描述了一种在集群中异构节点之间的应用程序进行动态结合的中间件.它通过将应用对象平均分配到系统中节点来均衡集群中的负载.同时描述了促进对象迁移与决策组成的该中间件的体系结构,以及将一个对象从一个节点迁移到另一个节点的通信协议.最后介绍了用Java和Jini实现该中间件的技术.     

集群作业管理系统SGE及其应用

在综合分析了几种主流的集群作业管理系统之后,重点研究了Sun Grid Engine(SGE)作业管理系统的结构组成及功能,并将其部署在8个节点,其中7个节点为计算节点,通过搭建出的集群环境,结合一个应用实例并行计算π值,根据实验结果分析出了网络结构和通信时间是影响一个集群的性能的重要因素.最后针对网格研究的发展,说明集群作业管理系统今后应该加强资源的动态加入退出、作业的迁移等问题的研究.     

多集群系统中资源监控代理模块的设计与实现

针对单一集群用户提交大量作业时系统响应时间长的问题,提出了一种多集群系统中资源监控的设计方案,该方案主要是对集群中各个子节点所有可用资源的状况进行监控,采集子节点的资源信息,并将收集到的集群节点负载信息传送给作业控制模块,使得作业根据分布在多集群环境中的计算资源负载情况进行作业跨集群调度。此方案可用于商业、高校等计算节点比较多的场所,提高工作效率,此方案已在高性能计算中应用,运行状况稳定。实验结果表明,当用户并提交作业和查询作业状态时,多集群系统响应时间优于单一集群系统响应时间。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

Linux PC/Cluster 集群系统YH/CS16设计与实现

通过Bonding技术将多个微机节点互连组成的Cluster集群系统不仅有很强的计算能力,而且有较高的节点通信带宽,应用前景非常广阔.主要介绍了PC/Cluster集群系统YH/CS16的设计和实现关键技术,讨论了并行程序设计问题,最后给出了该系统在数值天气预报中的应用实测结果.     

集群环境中网格信息服务的一个实现方案

由于集群节点通常只有局部IP地址,集群通过主节点对外通信,无法满足工程应用和科学计算的要求;另外在网格应用中,常见的集群资源监控组件提供的信息量和信息种类还不够满足应用需求.为此提出并实现了扩展Globus MDS的解决方案.在曙光集群上的测试以及在面向多学科应用的模拟与可视化网格环境(MASSIVE)中的应用证明了该解决方案是可行的.     

分组技术及其在集群中的应用

在集群系统中,I/O节点担负着数据存储和分发的角色。针对I/O密集型应用,I/O节点网络带宽常常无法满足需要而成为整个系统的瓶颈。分组技术可以方便、高效地增加I/O节点带宽,并提供冗余保护。本文简要介绍了分组技术原理、模式,并通过在集群I/O节点上安装infel公司提供的iANS具体实现。最后给出了性能评价。此技术在实际应用中已取得良好效果。     

基于集群管理系统相关理论及关键技术研究

集群系统的优点是可扩展性好,但随着集群系统规模的增大,节点数目的增多,集群系统整体的可靠性会相应降低。另外,用于支持不同应用管理的服务器集群系统涉及的用户数目庞大,因此高可用性对服务器集群系统具有格外重要的意义。本文的目的是研究集群组管理的相关理论和技术,并实现其中的部分技术。     

联网审计系统中海量数据的存储与管理策略

分析了联网审计应用系统的特点,提出了一种适用于计算机联网审计系统的海量数据存储与管理策略,并着重对该系统的基本构成、物理设计与逻辑设计进行了描述.针对本系统中所采用的集群并行数据库系统,还提出了计算机联网审计系统中并行事务处理操作的设计原则,并给出了具体的操作案例.     

一种基于最小生成树的非均匀分簇路由算法

分簇式路由是无线传感器网络路由协议研究的重点,本文提出一种新的基于最小生成树的非均匀分簇路由算法,该算法利用EECS路由协议产生大小非均匀的簇,簇内结点通过单跳的方式将数据发送给簇首结点,所有簇首结点构成最小生成树路由网络,并通过树内结点的多跳通信,最终将数据发送给sink结点.实验证明,本文算法与EECS相比能够更加有效地降低整个网络的能量消耗,延长网络的生命周期.     

高能物理云平台中的弹性计算资源管理机制

虚拟化技术作为一种新的资源管理技术,正在高能物理领域得到越来越广泛的应用。静态虚拟机集群方式已经逐渐不能满足多作业队列对于计算资源动态的需求。为此,实现了一种云计算环境下面向多作业队列的弹性计算资源管理系统。系统通过高吞吐量计算系统HTCondor运行计算作业,使用开源的云计算平台Openstack管理虚拟计算节点,给出了一种结合虚拟资源配额服务,基于双阈值的弹性资源管理算法,实现资源池整体伸缩,同时设计了二级缓冲池以提高伸缩效率。目前系统已部署在高能所公共服务云IHEPCloud上,实际运行结果表明,当计算资源需求变化时系统能够动态调整各队列虚拟计算节点数量,同时计算资源的CPU利用率相比传统的资源管理方式有显著的提高。     

Performance analysis of affinity clustering on transactionprocessing coupling architecture

Coupling multiple computing nodes for transaction processing has become increasingly attractive for reasons of capacity, cost, and availability. This paper presents a comparison of robustness (in terms of performance) of three different architectures for transaction processing. In the shared nothing (SN) architecture, neither disks nor memories are shared. In the shared disk (SD) architecture, all disks are accessible from all nodes, whereas in the shared intermediate memory (SIM) architecture, a shared intermediate level of memory is introduced. Coupling multiple nodes inevitably introduces certain interferences and overheads, which take on different forms and magnitudes under the different architectures. Affinity clustering, which attempts to partition the transactions into affinity clusters according to their database reference patterns, can be employed to reduce the coupling degradation under the different architectures, though in different ways. However, the workload may not be partitionable into N affinity clusters of equal size, where N is the number of nodes in the coupled system, so that the load can be evenly spread over all nodes. In addition to balancing the load, we need to maintain a large fraction of data references within the database affiliated with the affinity cluster. These become increasingly harder to achieve for large values of N. In this paper, we examine the impact of affinity on the performance of these three different coupling architectures     

大规模并行粒子模拟系统通信性能优化研究与分析

随着粒子模拟在化工、材料、生物等领域应用不断深入,计算规模越来越大,运行一个作业需要的高性能集群节点数也越来越多.因此,降低网络通信所占总运行时间开销成为提高粒子模拟系统整体运行性能的关键环节之一.本文测试了不同MPI消息传递环境、英特尔I/O加速技术以及网络设备驱动参数设置在多相复杂系统国家重点实验室高性能计算集群上的性能发挥情况,并通过优化有效提高了网络通信性能.最后对GAMMA等用户层通信协议替代TCP/IP通信协议进行了初步的可行性测试.     

Hadoop平台在大数据处理中的应用研究

介绍Hadoop平台的基本概念．着重分析其中的HDFS和MapReduce这两种核心技术。详细描述Hadoop集群环境的搭建过程,将Hadoop应用到一个文件发布系统中,针对不同数量级的文件在集群数不等的情况下对文件上传操作进行耗时比较。实验结果表明,数据量越大,集群节点数越多,Hadoop集群处理数据的能力就越强。     

基于用户数据包协议(UDP)的实时集群节点控制与实现

集群计算机技术是当今高性能并行计算机系统中的一个研究热点。文章基于用户数据包传输协议(UDP),有效地对集群系统互为信任关系各个节点进行实时控制,实现了实时集群的单一系统映像,并采用通用商业化部件构建了实时集群计算机系统,拓展了集群计算机的实时应用领域。     

无线传感器网络的模糊功率控制技术

无线传感器网络节点通过撒播造成节点分布不均,分簇后导致分簇疏密不均,影响了网络性能,需要对簇头进行功率控制使网络结构更加优化.但这是一个难以确定其准确数学模型的过程,因此提出了一种采用模糊技术调整簇头功率以改变拓扑结构的方案.最后进行了仿真,实验结果证明通过分簇大小控制以后,网络的生存时间和通信量都有增加.     

An energy management system for cluster infrastructures

This paper presents a general energy management system for High Performance Computing (HPC) clusters and cloud infrastructures that powers off cluster nodes when they are not being used, and conversely powers them on when they are needed. This system can be integrated with different HPC cluster middleware, such as Batch-Queuing Systems or Cloud Management Systems, and can also use different mechanisms for powering on and off the computing nodes. The presented system makes it possible to implement different energy-saving policies depending on the priorities and particularities of the cluster. It also provides a hook system to extend the functionality, and a sensor system in order to take into account environmental information.