应用于JUNO实验的容器技术研究

江门中微子实验(JUNO)是以测定中微子质量顺序、精确测量中微子混合参数为主要目的的一项物理科学前沿研究实验,其实验规模庞大,数据处理流程繁杂,需借助统一高效的离线计算平台对数据进行分析处理。为此,利用Docker容器分层的镜像技术将JUNO实验所需的环境依赖库打包在镜像文件中,为其制定针对不同操作系统作业的容器镜像,并将不同JUNO容器作业提交至作业调度器上运行,以实现资源共享。对物理机、容器、虚拟机3种平台的CPU性能、I/O性能及JUNO作业的实际运行效果进行对比测试,结果表明,Docker容器能够胜任JUNO离线数据处理,相比虚拟机具有更小的性能损耗。     

大规模异构计算集群的双层作业调度系统

高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需求,在传统作业调度器上增加作业管理层,设计双层作业调度系统,通过高效调度串并行作业并兼顾实验组间资源的使用公平性,实现用户对作业的细粒度管理。测试结果表明,双层作业调度系统支持大批量高能物理作业的快速提交,并充分利用计算平台的总体资源,具有较好的作业调度性能。