多网格平台上的高能物理数据共享

当前,高能物理网格计算平台主要依赖于单一的网格中间件与操作系统.而实际上,越来越多的异构资源需要被整合进来.因此,如何在多个平台上(包括不同的网格中间件与操作系统)共享高能物理网格数据是一个基本的研究课题.本文在不改动原有平台的基础上,提出并实现一个网格数据共享系统.基于该系统用户可以透明的在多个平台上管理和共享海量数据.本文主要描述这个系统的体系结构、实现方法、性能优化以及使用场景.     

高能物理网格中动态自适应副本选择算法

提出一种在高能物理网格环境下适用的客户端动态自适应文件副本选择算法。该算法基于历史传输信息进行选择预测,并可根据实际情况进行合理配置。理论证明和真实环境下的运行结果表明,该算法能够很好地满足高能物理网格的需求。     

面向高能物理计算的网格文件系统

针对网格环境下高能物理计算的需求,基于现有的网格中间件,提出并设计了一个网格文件系统HEP-GridFS,目的是将异构的、动态变化的、大规模的网格存储资源虚拟成单一的、稳定的文件系统视图,并根据用户实际需求提供不同的服务质量。描述了它的体系结构以及关键技术,主要包括名字服务、存储资源管理、数据复制、用户访问接口、工作流程等。     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．     

基于网格环境的数据管理研究

分析了网格环境下数据资源不同于其他资源的特点，针对这些特点论述了网格数据管理所面临的问题．据此分析了面向文件的数据管理服务和面向数据库的数据管理服务的实现。     

云计算技术综述

介绍云计算的工作原理、与网格计算的区别、云计算的特点及应用模式,简述云计算的关键技术,包括虚拟化技术、数据存储技术、数据管理技术、编程模型技术和资源监控技术,指出云计算应用存在的主要问题。     

网格数据库管理模型与策略

越来越多的网格应用需要管理大容量和广域分布的数据。开放网格服务体系结构中的网格服务提供了动态创建、管理和在网格服务中交换的一致接口。本文探讨了以OGSA网格服务管理网格数据库的模型，网格数据库服务提供支持数据访问的控制和发现、执行数据管理的操作，实现数据资源的虚拟化，通过网格实现现有数据库的访问与集成。同时讨论了相关的优化策略。     

地震资料分布数据管理平台研究与实现

利用数据网格技术实现海量地震资料并行处理需要解决动态、自治、异构的高性能计算系统之间的分布数据管理问题。根据石油领域资源现状,将该领域高性能资源划分为不同的虚拟社区,并建立分布数据管理体系结构,详细描述元数据模型与副本定位算法等关键技术。实现并部署了基于Web portal的地震资料数据管理平台,系统运行稳定、可操作性强、可扩展性好。     

网格环境下的数据库系统

网格计算是一种重要的新技术，网格上的大量数据需要使用数据库系统来管理。在介绍了与网格环境下数据库系统相关的研究工作之后，讨论了网格数据库的研究内容，包括网格数据库管理系统、网格数据库集成和网格应用的新需求。建议数据库研究人员对网格数据库作更多的研究，致力于从网格应用中发现并解决网格数据库面临的新问题。     

网格平台下基于GT5的数据管理组件RLS的研究

在GT4的基础之上,GT5对包括数据管理组件中的RLS（副本定位服务）组件在内的大部分组件进行了更新,对bug进行了修复,并增添了许多新功能与部署策略。对网格环境下的副本及其管理进行了简单介绍,并就GT5下的RLS组件的组成结构、工作原理与调度部署策略进行了详细研究。     

分布式文件元数据管理系统设计

简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。     

高能物理实验中数据传输系统的研究与实现

高能物理实验每天会产生大量的实验数据,由于高能物理实验本身的跨地域的建设特性,这些实验数据需要 传输到远程的数据和计算中心进行离线分析。如何将这些数据实时、可靠、高效地传输到远程的数据和计算中心则是 目前高能物理实验中需要解决的一个重要问题。介绍了一种高能物理环境下支持大批量数据传输的实时系统。系统 提供了与数据产生系统和数据管理系统的接口,并实现实验数据从实验现场到数据中心和计算中心的可靠传输。目 前该系统具有的功能包括:多路径源数据扫描、数据传输、数据缓冲区自动释放、传输过程管理、数据传输过程和性能 监视、传输过程日志记录等。为了解决广域网上高延迟的特性,提高网络传输效率,系统应支持多流并发传输,同时支 持数据中继服务,从而解决传输过程中由于网络或者某一传输节点失效造成的单点故障问题,提高系统自身的健壮性 和可靠性。实验表明,该系统在高能物理实验数据的传输过程中具有良好的效果。     

高能物理粒子实验中的大数据技术

高能物理实验具有大科学、大需求、大数据、大计算、大发现的特征,这些特征决定了进行高能物理研究需要多种计算技术,包括集群、网格、超算、云计算、志愿计算等方式,同时需要分布式的资源整合。本文针对高能物理实验的多种信息化支撑手段,包括云计算 、分布式存储、网络传输以及协同环境等方面的发展进行了简要描述。     

高能物理计算环境中存储系统的设计与优化

高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关.从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高.大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性.     

高能物理实验数据传输系统的研究和实现

高能物理主要通过各种实验来研究基本粒子及其相互作用，每个高能物理实验每天都会产生大量的实验数据。由于高能物理实验异地建设的特点，如何把实验数据实时、可靠的从实验现场传输到远程的数据中心进行处理和分析，是各个实验需要研究的重要课题。介绍了一种通用的高能物理数据传输系统，通过接口定义与配置文件相结合的方法，满足各个高能物理实验的需求。该系统的模块包括：多路径源数据扫描模块、数据传输模块、数据共享模块、系统配置模块、日志和监视模块等。目前，该系统已经应用于江门中微子实验光电倍增管测试的数据传输。实际运行结果表明，该系统性能良好，能够满足实验的需求。     

支持网格应用的光网络控制和管理

在高能物理等科研领域有许多基于网格的科研项目,包括海量数据传输在内的网格应用对网络带宽、延迟等QoS指标等有很高的要求.传统的IP路由网络无法满足这些要求.面向连接的光网络能够较好地满足这些要求,但也面临着许多挑战.分析了科研网格应用的特点及其对光网络控制和管理的特殊要求,重点分析比较了几种现有的光网络控制和管理方式,归纳和总结了此领域尚待研究的问题,最后提出了Lambda Grid和OVPN等新的研究 方向.     

计算资源整合的网格技术实现

阐述了网格计算技术的进展和DataGrid／EGEE系统的体系结构。结合高能物理的应用和高能所计算资源当前的实际情况，设计了一个网格计算系统，整合高能所几个分离的PC Farm计算系统，实现了计算资源的共享，以提高计算资源的使用效率。     

高能物理分布式数据获取架构的设计与实现

当代高能物理实验规模庞大且产生的实验数据量急剧增加，向数据获取软件系统提出更为严格、复杂、高性能的处理要求。借助于高速互联网络和强大的处理单元，采用分布式的数据获取软件的数据收集和处理能力得到显著提升，从而更高效地实现粒子物理实验数据获取目标。这种分布式数据获取处理架构在功能上主要负责对多个数据处理进程的运行控制和管理、软硬件配置、状态监控、信息共享和交互等。相较于基于消息传递的分布式协调服务，以Redis为中心的共享内存技术简化了数据获取系统中多进程间的同步，实现轻量级的CAP最终平衡，还作为中心数据库完成数据获取过程中信息的共享需求，是实现分布式处理框架的一种方便、轻巧、实用的解决方案，在当前规模的高能物理实验计算集群中可以可靠、稳定地开发实现和部署运行。