大型高能物理计算集群资源管理方法的评测

高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。     

基于 OpenStack 的虚拟资源调度技术研究

传统的高能物理计算系统基于物理机集群,主要通过 Torque、Condor、LSF 等资源管理和作业调度系统将作业调度到物理机器上运行,缺少对虚拟化计算的接口支持。我们选取 OpenStack 作为底层虚拟化平台,设计并实现上层调度系统与 OpenStack 之间的桥梁,采用推拉结合的作业运行方式,构建虚拟计算集群。     

大规模用户登录服务的负载平衡实现

PASNMP协议和LDAP目录服务为基础，利用DNS服务对用户请求进行调度，该文提出了一套符合本地实际情况的大最用户登录的解决方案，并实现了一个完整的登录调度系统，很好地解决了集群、网格环境下的大量用户登录的负载平衡问题。     

利用 ARC CE 整合异构计算平台

ARC (Advanced Resource Connector) CE (Computing Element) 是 Nordugrid 开发的网格中间件中的对计算资源管理的组件。ARC CE 相对于其他的对等计算资源网格组件,具有轻量级,易管理,认证简单,易扩展的特性,因此越来越广泛地被应用于各类网格应用平台上。高能物理实验 ATLAS 具有数据量大,计算量大的特点,采用了网格计算的方式整合了位于全球上百个计算中心的 15 万个 CPU 核进行协同计算。随着 ATLAS Run2 阶段开始,其所需计算资源急速增长,因此 ATLAS 在积极探索使用云计算资源,超算资源 (HPC),志愿计算资源等。如何将这些异构的计算资源整合到 ATLAS 传统的网格计算平台,成为一个急需解决的重要问题。ARC CE 由于所具有的易扩展和轻认证的属性,于是成为这一解决方案的核心组件。本文将以志愿计算为例,阐述如何利用 ARC CE 将动态的、不可信的志愿计算资源平台整合到现有的 ATLAS 网格计算环境,实现对用户和网格服务的双透明性。     

基于数据库的文件系统管理工具设计与实现

传统的文件系统管理工具通过实时遍历文件目录树获取文件元数据信息,以实现管理监视功能。但对于大型文件系统,元数据信息的获取需要耗费大量时间,传统管理工具无法适应当前大数据背景下的管理需求。为此,基于数据库技术设计一种新的文件系统管理工具。该工具集成Robinhood策略引擎与TORQUE作业管理系统,通过分布式并行计算获取文件系统元数据信息,并将信息保存到MySQL数据库,同时基于数据库中的元数据信息,实现文件系统的监视、管理和备份功能。实验结果表明,采用分布式并行计算能够充分利用集群的计算资源,提高文件系统的遍历速率,保证文件系统监视、管理和备份的顺利进行。     

Hadoop海量数据迁移系统开发及应用

当前高能物理实验产生的数据量越来越大，利用大数据处理平台Hadoop进行高能物理数据处理时，面临数据迁移的实际需求，而现有迁移工具不支持HDFS与其他文件系统间的数据传输，性能存在明显缺陷。从高能物理数据同步、归档等需求出发，设计和实现了一个通用的海量数据迁移系统，通过扩展HDFS数据访问方式，使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外，系统设计实现了动态优先级调度模型，进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站（LHAASO）宇宙线等物理实验中的数据迁移，实际运行结果表明系统性能良好，能够满足各个实验的数据迁移需求。     

大规模BES作业提交与管理系统的设计与实现

针对BES作业的特点设计了大规模高能物理作业的提交与管理系统,目的是为物理学家提供一个简洁高效的作业管理平台。系统根据用户要求可将作业发送至不同的计算环境运行,并实时监控作业运行状态,对发生错误的作业自动重新提交。针对数据密集型物理作业的特点,可以将大作业拆分成大量小作业以实现大规模作业提交,从而达到高效并行运行目的。系统采用Web Service技术,选用GSOAP作为传输协议,屏蔽了计算机的异构性,为用户提供方便灵活的多平台作业提交模式。     

基于Lustre的BES集群存储系统

满足BES计算庞大的I/O访问需求,需要先进的存储体系结构和合理的配置。描述了基于Lustre的BES集群存储系统的设计和实现。介绍了Lustre的组成和作为PetaScale级分布式文件系统的设计特点,描述了BES集群存储系统的具体实现,分析了系统的负载特征。分析了硬件级、操作系统级和文件系统级的性能影响因素,并针对关键因素的不同配置做了测试,提出性能优化方案。     

一种改进的DRF算法对BESIII集群资源管理的优化

根据BESIII集群的实际需求,在测试和研究了不同类型的高能物理数据处理作业不同配置机器上的运行效果的基础上,提出了一种改进的DRF资源分配算法,加入了机器性能评级和作业类型匹配两个因素作为资源调度的依据,对算法进行实现并使用真实数据进行了实验测试。测试结果表明:新算法能够更加合理地分配资源,有效提高系统资源利用率,缩短作业运行时间。     

基于Linux的会话断点保存与恢复软件

基于blcr软件,在Linux内核层,设计会话断点保存与恢复软件。该软件可在同一个会话内、进程间实现同步断点保存与恢复,无须改变进程间的相互依赖关系。应用结果表明,将该软件集成到Torque/Maui集群管理和调度系统中,可对用户运行程序进行透明的断点保存与恢复。