基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

面向高能物理分级存储的文件访问热度预测

高能物理计算是典型的数据密集型计算,其主要采用基于文件的分级存储方案,根据访问热度的不同将数据存储于不同性能的存储设备上,然而当前数据热度预测采用基于人工经验的启发式算法,准确率较低。提出一种借助长短期记忆网络预测文件未来访问热度的方法,包括网络结构设计、训练和预测算法等。该方法通过划分动态时间窗口构造文件访问特征的时序序列,预测不同数据的访问趋势。在LHAASO高能物理实验数据集上的实验结果表明,与SVM、MLP等算法相比,该方法预测准确率提升了30%左右,具有更强的适用性。     

高能物理云平台中的弹性计算资源管理机制

虚拟化技术作为一种新的资源管理技术,正在高能物理领域得到越来越广泛的应用。静态虚拟机集群方式已经逐渐不能满足多作业队列对于计算资源动态的需求。为此,实现了一种云计算环境下面向多作业队列的弹性计算资源管理系统。系统通过高吞吐量计算系统HTCondor运行计算作业,使用开源的云计算平台Openstack管理虚拟计算节点,给出了一种结合虚拟资源配额服务,基于双阈值的弹性资源管理算法,实现资源池整体伸缩,同时设计了二级缓冲池以提高伸缩效率。目前系统已部署在高能所公共服务云IHEPCloud上,实际运行结果表明,当计算资源需求变化时系统能够动态调整各队列虚拟计算节点数量,同时计算资源的CPU利用率相比传统的资源管理方式有显著的提高。     

基于Openstack的高能物理虚拟计算集群系统及应用

高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。