一种采用消息模型的多集群作业管理方案设计

文中针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点,提出了一种采用消息模型的多集群作业管理方案。该方案采用全局一局部的层次调度方法,基于发布一订阅的消息模型,根据当前网络环境、用户作业的资源需求、各集群自身负载情况进行综合统一调度管理。实践证明,采用该方案设计实现的多集群作业管理系统实现了多集群环境下的资源监控、资源管理、作业调度、作业控制、数据管理等功能,有效解决了在资源异构及网络环境不可靠条件下的系统稳定性问题,显著提高了多集群系统作业吞吐能力。     

集群作业管理系统的关键技术分析及比较

集群技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,集群作业管理系统则是集群系统中的核心部分.讨论了集群作业管理系统中的一些关键技术,如作业调度的组织模式、作业调度策略、进程迁移机制、资源组织和管理等,据此分析比较了当今具有代表性的几种集群作业管理系统PBS,CONDOR和LSF,并由此得出了对于今后研究和开发下一代集群作业管群系统有重要指导意义的结论.     

高性能集群作业管理系统TORQUE分析与应用实现

本文介绍了高性能集群的发展和特点,以及目前流行的高性能集群的作业管理系统;分析了TORQUE作业管理系统组成及作业提交过程,并通过一个具体实现纳米材料分析的MPI并 行程序在高性能集群上运行。     

基于服务器集群的云检索系统的研究与示范

在研究云计算及移动搜索引擎的基础上,依据当前技术发展,提出了基于服务器集群的云检索系统模型,该模型由云信息层、云检索集群系统和用户查询框组成.对云检索集群系统中数据存储技术进行了深入研究,提出了分布式云检索数据存储方案.为了提高云检索执行效率,提出了以程序流为核心的云检索软件执行模式.该模型的测试结果表明,系统功能能正确实现,性能表现较好且稳定.通过该模型的示范,给海量信息检索技术提供了拓展思维的方案.     

基于Jini的集群作业管理系统的实现

集群作业管理系统对于集群的使用很重要,本文研究如何基于Jini技术构建集群作业管理系统-Jcluster。文章首先介绍Jini技术和该技术的特点,然后阐述了基于Jini技术的Jcluster的设计思想和系统结构,并在自强2000集群系统上实现。经过测试,证实了该系统的具有即插即用的特性和良好的健壮性、同时Jcluster实现了对资源的多级资源池管理。     

基于并行容错网的对等服务器集群的设计与实现

为了提高服务器系统的可靠性、可用性和性能,并改变目前非对称式服务器集群资源利用率低的状况,我们提出了一种新的服务器集群实现方案一基于并行容错网的对等服务器集群。在服务器集群的实现中,我们采用了软件集群的方法,设计实现了服务器集群管理层和并行容错通信层。     

集群作业管理系统SGE及其应用

在综合分析了几种主流的集群作业管理系统之后,重点研究了Sun Grid Engine(SGE)作业管理系统的结构组成及功能,并将其部署在8个节点,其中7个节点为计算节点,通过搭建出的集群环境,结合一个应用实例并行计算π值,根据实验结果分析出了网络结构和通信时间是影响一个集群的性能的重要因素.最后针对网格研究的发展,说明集群作业管理系统今后应该加强资源的动态加入退出、作业的迁移等问题的研究.     

基于多维QoS的集群作业调度算法

调度技术是集群作业管理系统的关键技术之一。但是,目前大多数集群作业管理系统采用的调度技术,很少按照应用对系统资源的需求加以详细区分和权衡,无法同时满足不同应用在高吞吐量、高可用性和实时性等方面的要求,造成了资源的闲置和资源因为负载过重而无法正常工作。该文正是注意到了这种不足,根据不同应用的需求和实时收集到的资源信息,引入了多维QoS的概念,并给出了多维QoS的数学模型,提出了一种基于多维QoS的集群作业调度算法JSBMQ,充分提高了系统的资源利用率和平均响应时间,使集群可以提供不问断的高效的计算服务。     

服务器集群负载均衡的建模与仿真研究

研究服务器集群负载优化调试问题,各服务器负载能力差异较大,要求尽可能使每一个服务器的负载均衡,传统方法没有考虑负载动态变化特点,导致服务器集群负载极不均衡,系统性能差。为提高集群系统的整体性能,提出一种基于遗传算法的服务器集群负载均衡算法。首先根据负载均衡目标建立数学模型,然后采用遗传算法模型进行求解。仿真结果表明,遗传算法提高了服务器集群系统吞吐量,使系统负载更加均衡,使整个集群系统的资源得到充分利用。     

代理集群的负载均衡系统的设计与实现

为了提高代理集群系统的整体性能,提高代理集群的效率,基于分布式计算领域已经较为成熟的负载均衡算法的研究成果,以及目前流行的服务器流量均衡策略,设计了一种针对代理集群这一应用背景的负载均衡策略系统,完成了系统结构和负载均衡策略的实现,并进行了性能测试.     

基于网格的多机群资源中间件的设计与实现

使用不同管理系统的多机群系统不能实现资源共享、协同工作和自适应资源管理。针对该问题,该文利用网格的资源共享和动态分配特性,通过构建多机群资源管理中间件,设计并实现了基于网格技术的异构多机群系统。运行结果表明,以中间件集中、动态地管理和调度资源,该系统能够正确高效地工作,验证了网格技术和中间件设计概念在异构多机群系统方面的可行性。     

MIS系统中信息群的发掘与实现

基于软件重用的思想,在带有平台性质的MIS系统中设定和使用主码、外码,充分挖掘数据间的关系,从主码和外码两条线上追踪数据,破除物理表的局限性,将管理信息系统中的相关信息整合起来,从中动态抽取出“上卷信息集”和“下钻信息集”,从而组成“信息群”,消除了软件系统中的“信息孤岛”,保证了管理信息系统中的信息的逻辑整体性,也确保了系统内的信息流动畅通无阻,使用户可以轻松地进行“信息漫游”,从而有力提升管理信息系统的可用性和使用效率。     

数据流聚类算法在入侵检测中的应用

处理数据流的能力成为入侵检测系统面临的挑战,针对这一现状提出DC-stream算法,该算法采用在线离线两阶段聚类,设计了一套缓冲式异常点处理机制,在保证数据流聚类效率和精度的同时,能够过滤噪音数据。实验结果证明,该算法能在海量的网络数据流中及时有效地发现入侵行为,并具有较强的抗干扰能力。     

基于海量数据的集群服务管理模型

针对海量数据Web服务器并行方式下的数据表管理问题,引入集群服务管理模型(CSM)。对该模型从体系结构、管理流程进行详细的分析和论述,通过实际测试,与现有非集群模型的对比,得出此集群管理模型在解决了并行方式下的数据表管理问题的同时,没有增加系统开销和降低系统响应时间。     

基于Web的集群管理工具CWMS

针对目前集群管理工具中没有实现单一入口或者仅提供命令行交互方式等问题,设计并实现了基于Web的集群管理工具CWMS。分析集群管理系统的体系结构,对集中式体系结构加以改进,提出一种新的基于Web的集群管理系统框架,利用自定义的通信协议和广播检测程序,管理服务器可以对集群节点进行监控和管理。应用结果表明,CWMS能够有效地提高集群管理效率,降低集群管理的难度和复杂度。     

基于机群系统的大规模并行搜索算法--大型离散偏微分方程组快速求解

大量的科学与工程应用中,会经常遇到复杂偏微分方程组的求解问题,这些偏微分方程组一般无法得到分析解,实际采用的是将其离散后通过数值逼近方法来求得近似解.为了得到较高的求解精度,需要将离散网格划分得足够细,但是这样就成倍地增加了计算量,许多问题就是因为计算量过大而无法求解或不得不降低精度求解.本文在机群计算平台上,针对机群计算的特点,提出了一种大规模并行搜索算法,这种算法由于可以充分发挥各个结点的计算能力,有效降低结点之间的通信,因而具有很高的效率.文中对这一算法进行了详细描述.该算法已经成功地用于压力铸造过程的流场模拟计算之中,可以有效地解决一大类大型离散偏微分方程组的求解问题.对于同样规模的一个实际问题,并行算法的求解时间相对于串行算法,从3到4天下降到3个小时,取得了很好的并行加速.     

HPC机群分布式强制访问控制技术可行性研究

高性能计算（high performance computing,HPC）机群具有单一系统和分布式系统的双重特点,从而对机群的安全性提出了新的挑战。根据高性能计算机群的安全现状和需求,提出了一种适用于高性能计算机群的分布式强制访问控制模型;根据该模型设计了一个基于单节点的强制访问控制系统SE Linux,实现了高性能计算机群访问控制系统框架,并搭建了一个原型系统。最后,对高性能计算机群强制访问控制技术的可行性进行了分析和验证。分析结果表明,高性能计算机群分布式强制访问控制技术在功能上能够满足高性能计算机群的安全需求,对系统的计算和带宽的消耗也在可接受的范围内。     

Information Retrieval on an SCI-Based PC Cluster

This article presents an efficient parallel information retrieval (IR) system which provides fast information service for the Internet users on low-cost high-performance PC-NOW environment. The IR system is implemented on a PC cluster based on the scalable coherent interface (SCI), a powerful interconnecting mechanism for both shared memory models and message-passing models. In the IR system, the inverted-index file (IIF) is partitioned into pieces using a greedy declustering algorithm and distributed to the cluster nodes to be stored on each node's hard disk. For each incoming user's query with multiple terms, terms are sent to the corresponding nodes which contain the relevant pieces of the IIF to be evaluated in parallel. The IR system is developed using a distributed-shared memory (DSM) programming technique based on the SCI. According to the experiments, the IR system outperforms an MPI-based IR system using Fast Ethernet as an interconnect. Speed-up of up to 5.0 was obtained with an 8-node cluster in processing each query on a 500,000-document IIF.     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.