网格环境下集群管理系统

分析了集群接入网格的过程中所面临的问题,研究了在网格环境下使用集群的方法,详细分析了集群接入网格需要提供的接口和服务,并实现了一个网格环境下集群管理的原型系统,将集群转化成为一种标准的、透明的资源接入网格.通过该系统用户能够在任何地方使用分布在各处的集群资源,系统能保证用户提交的作业正确、有效的运行,并及时向用户反馈提交作业的相关信息.实验分析表明,该系统能够有效的整合集群计算资源,从而提高计算能力,增大全局吞吐量.     

基于Portlet的网格门户系统设计

网格门户是网格环境的用户接口,已经日益成为一个重要的网格研究领域.Portlet是一种可定制、可插拔和可重用的Web组件,目前已经提交申请成为Java规范.使用portl武技术开发网格门户,有利于提高网格门户的可扩展性和可维护性,支持用户个性化的网格使用方式,方便对门户的配置管理.详细介绍了基于portlet的网格门户系统的设计思想及其实现,并以MPI作业提交为例阐述了系统中各个portlet之间的交互方式.     

基于多队列思想的作业处理环境的设计

作业处理环境作为网格作业被处理的核心场所,负责将用户提交的作业请求封装成作业对象.然后对作业对象进行解析、调度、资源选择和提交等处理.由预处理队列、调度队列、资源选择队列和提交队列构成的一个多队列结构采用多线程技术,将作业处理过程划分成若干阶段,由作业控制中心统一管理作业对象在多队列结构中的操作.     

网格环境下的作业运行支持系统分析*

网格环境下的作业运行支持系统支持用户在网格资源上远程提交作业任务,执行科学计算应用程序,并管理运行着的作业任务.作业运行支持系统解决了计算执行环境的准备、状态监视汇报、运行时操纵和I/O支持等方面的关键问题.现有的几种主要的网格中间件系统均提供了作业执行和管理工具,很好地解决了几个主要问题,但并不能完全满足用户的需要,还需进一步改进与完善.     

基于网格环境下的信任评估的研究

网格环境中的信任评估问题是当前网格研究的一个热点问题,为了解决网格环境中复杂动态的安全问题,模型提出了一个能广泛适用于具有高效率的网格等开放网络环境的方法.从使用推荐信任的历史窗口的角度来设计研究网格计算环境中的信任模型,根据信任模型算法算出实体的信任度,解决如何筛选出符合网格用户要求的资源节点,来完成用户提交的作业任务问题.引入树的深度遍历和广度遍历概念来解决网格用户与本虚拟组织内的网格实体以及其他虚拟组织的实体间的协同合作、共享资源的安全性和动态性问题,利用信任模型和信任评估控制机制对网格社区中的资源提供者和资源消费者实施安全保护以及对其提交任务的质量保证.     

基于SGE的仿真网格及其作业调度研究

网格引擎是一个构建本地和集群网格的工具,其框架是由四种类型的主机及其对应的守护进程构成.该文主要研究了通过SGE框架构建分布式仿真网格平台的方法,描述了仿真网格平台上执行用户提交的仿真任务的工作流程.随后讨论了基于SGE仿真网格中的资源组织和作业调度,并分析了仿真网格中所使用的作业调度算法,包括确定作业顺序的FIFO算法、优先级算法、等额度和日历算法等;确定队列顺序的负载调整、队列号等算法等.     

一种基于策略的可扩展网格资源管理机制*

提出了一种基于策略的网格资源管理机制和采用的关键技术.通过将网格应用的用户和资源节点分别进行分类,较好地处理了网格系统中集中与分布的矛盾.引入资源预留的思想来解决散户的突发批量作业提交.采用集中和分布并重、直接认证和代理认证结合的多策略认证结构,以提高网格安全认证的效率.     

一种面向服务的网格作业管理机制

开放网格服务体系结构(OGSA)的出现表明让网格资源以服务形式提供标准化的接口已成为趋势，然而目前的网格作业管理系统主要针对以程序形式提交的批处理类型作业，其管理的资源对象和调度目标主要面向科学计算，在基于服务的网格环境下远不能满足应用的需求：一方面，用户的使用模式从批处理为主转向带有交互性质的服务访问模式；另一方面，不同的应用对服务质量(QoS)有着不同级别的需求，为了解决这些问题，提出了一种面向服务的作业管理机制，它作为用户访问网格资源(服务)的代理，为用户提供透明的、与资源物理位置无关的并带有会话支持的作业服务接口。还引入了服务水平协议(SLA)的概念来表示用户需求的不同网格服务级别，作业管理系统则根据可定制的服务水平实现配置(SLAP)将sIA中规定的各项QoS特性映射到具体的作业管理行为，该作业管理机制已应用于织女星网格系统软件中，并能够为基于服务网格的应用提供灵活有效的支持。     

Web服务在网格计算中的实现

目前两项最热门的技术就是网格计算和Web服务。文章介绍了开放性网格服务架构OGsA及其定义的网格服务，详细描述了两种典型的网格服务架构：支持请求架构和支持分发架构，最后用一个网格作业提交的例子说明在网格中具体实现Web服务的过程。     

基于计算网格的图像三维重建系统的设计

在计算机视觉处理领域中,三维重建是一种将二维图像恢复成三维信息的方法。目前,由于图像的三维重建过程涉及到大量的数据,重建速度较慢。为了提高三维重建的性能,构建了基于计算网格的图像三维重建系统。利用该系统提供的Web方式,用户可以实现作业提交、作业运行状态查询和图像三维重建服务部署的功能。最后,对所构建的计算网格三维重建系统进行了测试和分析。     

网格资源管理体系结构模型研究

网格中的资源是在地理上分布的、异构的,并且由多个组织所拥有的具有不同的使用、访问及消费模型的资源。在如此巨大而又分布式的环境中对资源进行管理是一项十分复杂的任务。该文介绍了并讨论了目前主要的三种网格资源管理体系结构模型及其在网格计算系统中的应用。分层模型是目前大多数网格计算系统进行资源管理时所使用的模型;抽象所有者模型在作业提交和结果收集时遵循定购和交货模式;计算经济模型综合了分层模型和抽象所有者模型的实质,并且体现了计算经济在网格资源管理系统中的应用。最后,分析了三种模型的特性并对文章进行总结。     

高性能集群作业管理系统TORQUE分析与应用实现

本文介绍了高性能集群的发展和特点,以及目前流行的高性能集群的作业管理系统;分析了TORQUE作业管理系统组成及作业提交过程,并通过一个具体实现纳米材料分析的MPI并 行程序在高性能集群上运行。     

Optimization of Jobs Submission on the EGEE Production Grid: Modeling Faults Using Workload

It is commonly observed that production Grids are inherently unreliable. The aim of this work is to improve Grid application performances by tuning the job submission system. A stochastic model, capturing the behavior of a complex Grid workload management system is proposed. To instantiate the model, detailed statistics are extracted from dense Grid activity traces. The model is exploited for optimizing a simple job resubmission strategy. It provides quantitative inputs to improve job submission performance and it enables the impact of faults and outliers on Grid operations to be quantified.     

Adaptive Task Checkpointing and Replication: Toward Efficient Fault-Tolerant Grids

A grid is a distributed computational and storage environment often composed of heterogeneous autonomously managed subsystems. As a result, varying resource availability becomes commonplace, often resulting in loss and delay of executing jobs. To ensure good grid performance, fault tolerance should be taken into account. Commonly utilized techniques for providing fault tolerance in distributed systems are periodic job checkpointing and replication. While very robust, both techniques can delay job execution if inappropriate checkpointing intervals and replica numbers are chosen. This paper introduces several heuristics that dynamically adapt the above mentioned parameters based on information on grid status to provide high job throughput in the presence of failure while reducing the system overhead. Furthermore, a novel fault-tolerant algorithm combining checkpointing and replication is presented. The proposed methods are evaluated in a newly developed grid simulation environment dynamic scheduling in distributed environments (DSiDE), which allows for easy modeling of dynamic system and job behavior. Simulations are run employing workload and system parameters derived from logs that were collected from several large-scale parallel production systems. Experiments have shown that adaptive approaches can considerably improve system performance, while the preference for one of the solutions depends on particular system characteristics, such as load, job submission patterns, and failure frequency.     

基于命令行客户端的网格软件SCE设计与实现

如何高效和方便的使用计算资源是网格计算里迫切需要解决的问题之一。为了解决该问题,本文基于Linux命令行,开发一种超级计算环境（SCE）。在SCE中,用户可以完成作业的提交、编译、查询和文件下载等工作。SCE的部署配置操作简单,并具备高度可扩展的特性。通过屏蔽底层计算节点的异构性,使得其在网格计算中适用环境更加广泛。     

GridMol系统中蛋白质可视化与建模的性能优化

基于网格计算思想开发一个具有计算化学前、后处理功能的系统GridMol,其主要功能包括分子可视化、分子建模和计算作业提交。针对GridMol系统中蛋白质大分子显示和建模遇到的性能问题,给出调整Java 3D场景图进行性能优化的方法,通过GridMol和其他分子可视化软件的性能比较以及自身优化前后的性能比较,证明优化方法取得了良好的效果。     

Service-oriented grid computing system for digital rights management (GC-DRM)

Service-oriented computing and applications have recently gained significant attention since they provide new service infrastructure and development of service-oriented technology. Under such trend and ubiquitous computing requirement, grid computing is becoming popular in scientific and enterprise computing due to its flexible deployment and implementation. In this paper, we proposed a service-oriented digital rights management (DRM) platform based on grid computing (called GC-DRM) which is in the compliance of Grid Portal standards by using porlet. The platform integrates Globus Toolkit 4 and Condor 6.9.2 and uses web 2.0 to construct the web-based user interface for providing job submission, control, management, monitor for DRM services. GC-DRM can provide different categories of services which include watermark embedding and extraction, image scrambling, visible watermark embedding, image tamper-detection and recovery. In addition, GC-DRM has been applied to analyze the robustness of digital watermark by filter bank selection and the performance can be improved in the aspect of speedup, stability and processing time compared with NaradaBrokering based Computing Power Services (NB-CPS) and Web Services based Computing Power Service (WS-CPS). Therefore, GC-DRM can be concluded as a superior service-oriented computing which provides the user friendly environment with efficient DRM service performance based on grid computing architecture.     

基于Portlet的高性能计算Portal

提出基于Portlet的高性能计算Ponal——HPCP,提供一个简单、通用、安全、可定制的Web作业管理系统,支持作业提交、查询、终止、目录列表及文件内容实时查看、大文件的数据流无缓存下载等功能。理论分析和实际测试表明。HPCP具有类似桌面应用程序的用户友好、交互性等特点,且有良好的可扩展性和安全性。     

一种数据网格副本管理仿真软件

副本管理成为影响数据网格性能的主要因素之一,研究高效的副本管理算法大都依赖于对数据网格副本管理进行仿真.介绍了一种数据网格副本管理仿真软件的设计与实现,并详细介绍了数据网格仿真的一些关键技术的解决方案,如任务调度、任务执行仿真.     

Job failures in high performance computing systems: A large-scale empirical study

The growing complexity and size of High Performance Computing systems (HPCs) lead to frequent job failures, which may cause significant performance degradation. In order to provide high performance and reliable computing services, an in-depth understanding of the characteristics of HPC job failures is essential. In this paper, we present an empirical study on job failures of 10 public workload data sets collected from 8 large-scale HPCs all over the world. Multiple analysis methods are applied to provide a comprehensive and in-depth understanding of job failures. In order to facilitate design, testing and management of HPCs, we study properties of job failures from the following four aspects: proportion in workload and resource consumption, submission inter-arrival time, locality, and runtime.Our analysis results show that job failure rates are significant in most HPCs, and on average, a failed job often consumes more computational resources than a successful job. We also observe that the submission inter-arrival time of failed jobs is better fit by Generalized Pareto and Lognormal distributions, and the probability of failed job submission follows a “V” shape: decreasing during the first 100 seconds right after the submission of the last failed job and increasing afterward. The majority of job failures come from a small number of users and applications, and furthermore these users are the primary factor related to job failures compared with these applications. We find evidence that failed jobs’ lifetime accuracy (runtime / request time) always follows the “bathtub curve”. Moreover, job failures exhibit strong locality properties that can support the prediction of failed jobs’ occurrence and runtime. Most of these findings are new contributions from the research community, and some findings also reveal important properties of job failures that were misunderstood or poorly understood before. The wide range of studies in this paper can directly and thoroughly facilitate fault tolerant, scheduling, workload modeling, etc. in HPCs, and lead to better system utility while reducing costs.