基于 DIRAC 的高能物理分布式计算系统在 CEPC 实验上的应用

2012 年 LHC 实验发现希格斯粒子后,我国粒子物理学界规划了高能环形正负电子对撞机 (CEPC),以及它升级后的超级质子对撞机 (SppC),用于研究希格斯物理,并在高能量前沿探索超越标准模型的新物理。CEPC 实验的计算量非常大,即使是在预研阶段,一次探测器全模拟就需要 833 万 CPU 小时的计算量和 1PB 存储空间。当本地计算资源不足时,分布式计算是一种快速整合合作单位计算资源来满足实验大量计算需求的有效方法。2012 年,高能所基于 DIRAC 中间件建立了一套约 2000 CPU 核规模的分布式计算系统,服务于 BESIII 实验。本文介绍了将此分布式计算系统扩展到支持 CEPC 实验的改进方案,并介绍了此系统在 CEPC 实验的实际应用。     

高能物理粒子实验中的大数据技术

高能物理实验具有大科学、大需求、大数据、大计算、大发现的特征,这些特征决定了进行高能物理研究需要多种计算技术,包括集群、网格、超算、云计算、志愿计算等方式,同时需要分布式的资源整合。本文针对高能物理实验的多种信息化支撑手段,包括云计算 、分布式存储、网络传输以及协同环境等方面的发展进行了简要描述。     

高能物理实验数据采集的新总线与链接

对于中型和大型高能物理实验的建造与运行来说，数据采集的总线标准是极其重要的。当前工业总线标准化的进展，将很快地产生下一代高性能的、用于规模可调系统的总线与链接标准。     

解析分布式计算的应用

分布式计算是一种日趋成熟的计算机应用技术,可以充分利用网络资源,处理需要巨大计算能力才可以处理的任务。简述分布式技术的概念和基本工作原理,为了深化对于分布式技术应用的理解,列举了几种较为成熟的应用,包括网格计算、云计算和志愿计算,通过对这几种应用技术的比较说明了分布式技术的特点。     

云计算的发展与应用前景展望

随着大规模互联网应用的发展,分布式处理已经不能够满足互联网的发展要求。近几年提出云计算的构想并进行了初步的实现。通过研究,明确了何为云计算,云计算与传统的分布式计算的联系与区别,并对云计算在各领域中的应用进行了前景展望。     

试析云计算应用

云计算是目前最热门的一种分布式应用技术,可以令互联网用户像日常用水用电一样利用网络资源。简述了云计算的提出、特点及分类,对现有的云计算平台进行了较为详细的阐述,并对云计算模拟平台CloudSim的使用进行了说明。     

基于MongoDB的BESIII分布式计算记账系统的研究与实现

北京谱仪III(BESIII)高能物理实验要对海量的数据进行处理与分析。为了应对海量数据对计算资源提出的挑战,BESIII实验基于分布式架构软件DIRAC构建了统一的分布式计算平台。针对实验具体需求,对BESIII分布式计算的记账系统进行研究,以MongoDB作为系统底层存储数据库,采用复合片键以及副本集策略,提高系统可扩展性与可用性;提出基于动态时间窗口的数据压缩算法,实现了统计查询结果的实时响应;基于Map/Reduce、Matplotlib提高分析速度以及实现分析结果的多样化展示。目前该系统已被用于计算平台信息的收集和分析。测试表明基于MongoDB的记账系统表现出了良好的性能,能够满足实验的需要。     

基于MapReduce的高能物理数据分析系统

将MapReduce思想引入到高能物理数据分析中,提出一个基于Hadoop框架的高能物理数据分析系统。通过建立事例的TAG信息数据库,将需要进一步分析的事例数减少2~3个数量级,从而减轻I/O压力,提高分析作业的效率。利用基于TAG信息的事例预筛选模型以及事例分析的MapReduce模型,设计适用于ROOT框架的数据拆分、事例读取、结果合并等MapReduce类库。在北京正负电子对撞机实验上进行系统实现后,将其应用于一个8节点实验集群上进行测试,结果表明,该系统可使4×106个事例的分析时间缩短23%,当增加节点个数时,每秒钟能够并发分析的事例数与集群的节点数基本呈正比,说明事例分析集群具有良好的扩展性。     

云计算不等于分布式计算

云计算是时下十分热门的概念．它到底是个什么好东东呢？以下Gartner给出的定义已经成为经典而被大量引用：＂Cloud computing is ＂a style of computing where massively scalable IT-related capabilities are provided ＇as a service＇ across the Internet to multiple external customers using Intemet technologies.＂即,     

云计算应用研究

基于互联网,以计算资源为用户提供方便、快捷、低廉、按需服务的云计算正越来越受到人们的关注和认同,得到越来越广泛的应用,市场规模不断扩大。本文在阐述云计算的概念、分类和特点的基础上,对云计算的典型应用进行了研究探讨。     

云存储技术在高能物理计算中的应用研究

高能物理计算是一种典型的数据密集型高性能计算。随着计算规模的扩大,传统的分布式文件系统日益表现出管理复杂、扩展困难和低可用性等问题。近年来,云存储技术在商业计算领域取得了长足的发展。本文设计和实现了高能物理计算软件 ROOT 的 S3 I/O 插件,调研并测试了兼容文件系统用户使用习惯的两个方案:虚拟文件系统和图形化客户端。测试结果说明,在云存储系统上进行高能物理计算是可行的。在局域网环境下,这种配置能够获得与传统分布式文件系统可比较的性能。     

云计算环境中能效评估方法

云时代的到来使得数据中心的高能耗问题愈发严重,如何实现高性能、低功耗且具有QoS保障的高能效云环境已经成为研究热点.论文对能效的基本概念进行了阐述,并对能效的处理模式包括计算模型和测量方法以及基准测试进行了归纳总结,在此基础上对能效的关键技术进行深入的分析,最后归纳总结了高能效云环境面临的问题和挑战.     

面向高能物理计算的网格文件系统

针对网格环境下高能物理计算的需求,基于现有的网格中间件,提出并设计了一个网格文件系统HEP-GridFS,目的是将异构的、动态变化的、大规模的网格存储资源虚拟成单一的、稳定的文件系统视图,并根据用户实际需求提供不同的服务质量。描述了它的体系结构以及关键技术,主要包括名字服务、存储资源管理、数据复制、用户访问接口、工作流程等。     

云计算环境下的分布存储关键技术

云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向.     

云计算环境下分布式缓存技术的现状与挑战

作为云平台提升应用性能的一种重要手段,分布式缓存技术近年来受到了工业界和学术界的广泛关注.从云计算与分布式缓存技术的结合入手,分析介绍了分布式缓存的特性、典型应用场景、发展阶段、相关标准规范以及推动缓存技术发展的若干关键要素.为系统地了解分布式缓存技术的现状和不足,建立了一个云环境下分布式缓存技术的分析框架--DctAF.该框架从分析云计算的特点和缓存技术的边界出发,涵盖6个分析维度.基于DctAF框架,对当前缓存技术进行总结和分析,并对典型系统进行比较.在此基础上,深入阐述了云环境下分布式缓存系统面临的挑战;围绕上述挑战,分析和比较了已有的研究工作.     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

BESⅢ分布式计算的元数据管理

北京谱仪III(BESIII)高能物理实验产生PB量级的实验数据,海量数据的处理和分析对计算资源提出较大挑战。分布式计算是整合异构计算资源和解决计算资源短缺的可行方案。根据BESIII实验需求对分布式计算所需的元数据管理进行研究,提出数据文件的元数据模型,利用中间件软件DIRAC的目录服务设计并实现元数据管理系统。该系统利用树型目录结构、物理文件名动态构建和虚拟数据集等技术,组织和存储各种类型的元数据,实现查询请求、逻辑文件以及物理文件之间的映射,使用数字证书和开放安全套接层协议保证系统安全。将该系统应用于实验数据分析和处理中,测试结果表明,当并发用户访问量为300时,查询时间仅为0.3 s,证明该系统性能较好,可以满足BESIII实验的应用需要。