高性能计算环境中间件的优化设计与实现

步入大数据时代之后,致力于解决大规模科学计算问题的高性能计算,得到越来越广泛的关注与应用。随着高性能计算机制造产业蓬勃发展,具有每秒上亿亿次浮点运算速度的高性能计算集群对高性能计算环境中间件的性能提出了更高的要求。现有的高性能计算环境中间件中,资源信息服务无法满足海量信息快速更新的需求。为了提高高性能计算环境中间件的性能,通过借鉴ETL技术,将资源信息传输方式优化为信息同步模式。优化后的信息同步模式在处理2000条作业状态更新时,延迟时间缩短90%、系统负载降低98%、网络连接数减少90%,为系统维护人员、环境用户带来更好的用户体验。     

基于云服务的计算化学社区

中国科学院超算环境是由中国科学院统筹规划建设的“院总中心-分中心-所级中心”三层结构的超级计算环境,环境的资源聚合使用网格中间件 SCE,并使用 API 接口对外提供服务。依托超算环境建设的科学计算学云服务社区采用软件即服务的模式,使用浏览器/服务器结构来提供专业交互式的计算化学科学计算服务,以“降低使用门槛、提高使用效率,助跑计算化学用户的科学研究工作”为目标,为广大科研用户提供“一站式”计算的 Web 服务模式和异构资源协同工作模式。本文同时介绍了社区的建设应用情况以及环境的运行、监控情况。     

基于 REST 风格的科学计算环境 Web服务 API

基于 Web 页面的计算门户提供了简单易用的用户使用界面,这些门户需要访问异构的计算机群。本文研究和实现基于 REST 风格的科学计算环境 Web 服务 API (SCEAPI-REST),其核心思想是充分利用 Web 服务在复杂系统中的集成优势以及 REST 风格的 API 跨平台和跨编程语言的特性,为开发者提供简单易用的计算机群开发接口,包括用户管理、资源查询、作业管理和文件传输等功能。基于 SCEAPI-REST,开发人员不再需要解决机群访问的繁杂问题,只需要专心构建面向科学计算的终端软件。该 API 已经应用到计算化学、材料科学、生物信息等多个领域的专业社区和工具软件。     

面向科学计算的网格环境

为了充分整合分布的高性能计算资源,本文提出一种面向科学计算的网格环境,旨在形成一个可统一管理和运行维护的虚拟的超级计算机资源,面向用户提供统一、易用、可靠的科学计算服务。面向科学计算的网格环境通过轻量级网格中间件SCE汇聚资源,支持作业的全局调度、数据的统一管理视图,面向用户提供命令行和网格门户两种使用方式,并提供编程接口供专业社区和学科平台二次开发使用,满足不同层次的用户需求。目前,面向科学计算的网格环境已经在中国科学院超级计算环境(ScGrid)中得到应用和用户认可。     

面向集群服务器系统的监控平台综述

为保证云计算、高性能计算集群服务器系统的服务能力,需构建监控平台对各种来源数据的实现统一管理、统计分析和展现。本文面向集群服务器系统监控平台的搭建方式,综述当前各种常见的监控平台架构和组件,分析各类平台在部署、数据规模、统计分析能力以及时效性等方面的不同。分析结果表明,集群服务器系统监控平台搭建方案应根据监控数据规模、时效性要求、查询和统计需求选择方案。     

三层架构超级计算环境容错框架*

为确保建成的中国科学院“十一五”信息化重大专项超级计算环境提供稳定可靠的服务,提出三层架构超级计算环境的容错框架。对计算环境可靠性和计算节点可靠性两大部分,通过作业可靠性、服务可靠性和网格节点可靠性三个主要方面的可靠性研究,提出并实现了三层架构超级计算环境的可靠性解决方案。该框架重点解决了单点故障对环境的影响,确保单点故障发生后系统能够继续提供高可用的高性能计算服务。     

基于任务负载监测的高性能集群节点启停机制*

对高性能计算集群在运行过程中如何通过关闭闲置节点来实现有效节能的问题进行了研究和探讨,设计和实现了基于任务负载量统计监测的节点启停机制.根据对系统中作业运行和排队情况的记录和分析,通过参数估计设计了反映队列任务情况的负载因子,并围绕负载因子制定具体策略,结合作业系统的队列设置和资源分配规则,对集群中的空闲节点进行自动启停控制.模拟实验表明,基于任务负载监测的节点启停机制能够有效地自动启停系统中闲置的节点,从而降低系统功耗,并且对系统中作业的整体完成时间基本不造成影响.     

食源性疾病事件智能探测与预警平台

食源性疾病由来已久,每年都会造成巨大的社会经济损失.人工智能技术给食源性疾病事件的探测和预警带来了新的方法.该文基于互联网大数据开发了食源性疾病事件智能探测与预警平台,该平台面向食源性疾病事件的数据获取、数据分析以及可视化展示的全过程,通过D-M-V分层模型以及模块化开发集成了多种模块.该平台主要解决了食源性疾病事件的数据获取、数据融合、事件探测、风险预测和可视化等问题,该平台能够自动从互联网中采集社交媒体、社会经济等数据;根据数据的时空坐标对多源异构数据进行高效融合;从社交媒体数据中探测出食源性疾病事件并推断其关键信息;利用多源数据对食源性疾病风险进行预测;提供高效的可视化方法和交互手段.该文通过2018年北京市食源性疾病数据作为示例验证平台功能.     

基于 Portlet 的高性能计算应用集成组件

高性能计算 Web 应用社区经常需要封装不同类型的应用,封装过程需开发或调整源代码。因此,社区管理员不能快速满足应用封装需求,特别是作业参数相对复杂的应用。通过分析不同作业管理系统的作业提交和管理命令、不同学科领域的高性能计算应用程序的使用方式、通用作业描述语言的结构和语义,本文提出了一种基于 portlet 的高性能计算应用集成组件,设计和实现了应用需求描述模板、作业提交页面动态渲染引擎、作业参数存储和填充方法,从而提供了基于 WEB 页面的应用封装、动态生成作业提交 Web页面和作业描述并提交作业的功能,并且支持以历史作业的输入数据填充作业提交页面的功能。分析及实例表明,该组件能够有效提高应用封装的响应速度,用户能够方便的提交作业和重用复杂的作业参数,具有良好的可移植性和扩展性。     

面向高性能计算环境的作业优化调度模型的设计与实现

高性能计算环境聚合了多个分布在不同地域、不同组织机构的高性能计算资源,面向用户提供统一的访问入口和使用方式,由系统中间件根据用户作业请求匹配合适的高性能计算资源。随着环境应用编程接口的开放以及作业请求数量的大幅增加,面对高并发作业提交请求时,目前采用的即时调度模型会由于网络等原因导致一定数量的请求处理失败,同时缺乏灵活性。针对此问题,优化了环境作业调度模型,引入作业环境队列,细化了作业系统层状态,增加了作业调度策略可配置性,并基于环境中间件SCE实现了系统原型。经测试,在单核心服务每分钟处理近200个作业提交请求的工作负载下,无因系统和网络原因引起的作业提交出错现象;在共计1 000个作业中,近500个作业提交命令请求在0.3s以内完成,800余个作业提交命令请求在0.5s以内完成。