高能物理科学数据中心智能运维系统

【目的】高能物理科学数据中心运维环境复杂,监控工具种类繁多,功能相对重叠且监控数据无法互通,日常运维面临巨大的挑战。为高效运用监控数据,提高数据中心运维能力,本文实现了高能物理科学数据中心智能运维系统。【方法】本文结合工业大数据技术、机器学习技术和数据中心运维需求,设计了通用的数据中心运维技术架构。介绍监控数据采集、分析、存储、共享、可视化等系统核心功能及其实现方式,以及依托该系统在数据中心数据存储、计算服务、网络安全等日常运维的具体应用效果。【结果】本文设计的运维框架,在高能物理科学数据中心日常运维中得到了成熟的应用和实践,提升了数据中心运维管理能力。【结论】智能运维系统在高能物理科学数据中心的应用,加速了运维监控从数据持久化、统一化到数据业务化、生态化的价值演进,实现了基于数据驱动的数据中心智能化运维生态。     

基于MPI的分布式数据处理系统

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。     

基于 DIRAC 的高能物理分布式计算系统在 CEPC 实验上的应用

2012 年 LHC 实验发现希格斯粒子后，我国粒子物理学界规划了高能环形正负电子对撞机 (CEPC)，以及它升级后的超级质子对撞机 (SppC)，用于研究希格斯物理，并在高能量前沿探索超越标准模型的新物理。CEPC 实验的计算量非常大，即使是在预研阶段，一次探测器全模拟就需要 833 万 CPU 小时的计算量和 1PB 存储空间。当本地计算资源不足时，分布式计算是一种快速整合合作单位计算资源来满足实验大量计算需求的有效方法。2012 年，高能所基于 DIRAC 中间件建立了一套约 2000 CPU 核规模的分布式计算系统，服务于 BESIII 实验。本文介绍了将此分布式计算系统扩展到支持 CEPC 实验的改进方案，并介绍了此系统在 CEPC 实验的实际应用。     

云计算与高能物理实验分布式计算的结合应用

高能物理实验具有大数据量和高计算量的特点,需要分布式计算系统对多个合作单位的计算和存储资源进行整合。中国科学院高能物理研究所已经创建了分布式计算环境,并实现对多个高能物理实验的稳定支持。近年来由于云计算技术不断发展成熟,其扩展性和易定制的特性非常适合应用于高能物理实验计算,是一种新的分布式计算资源类型。我们对云计算与分布式计算的结合应用进行了研究,成功将云计算整合到中国科学院高能物理研究所的分布式计算系统中,实现云站点的稳定运行,并进入生产状态提供给物理用户使用。     

云计算在BESIII数据处理与分析中的应用

为适应BESIII实验数据的积累和资源需求的大幅增长,论文从性能评估、软件部署、用户使用、资源调度、数据管理等五个关键问题对BESIII数据处理与分析利用云计算资源展开研究,并通过BESIII分布式计算系统对云计算资源的整合实现了BESIII作业在云资源上的弹性调度和成功运行,这将为今后大规模应用奠定基础。