异构计算系统中弹性节能调度策略研究

目前,节能已成为异构计算系统中减少电量开销、提高系统可靠性和保护环境的重要研究内容.传统的节能调度策略侧重于研究如何节能而忽略了用户对任务完成时间的期望,使得任务执行效果受到较大影响.特别是当系统负载较重时,由于电压调节缺乏自适应性,导致在某些情况下(如应急服务)的任务执行效果不可容忍.文中提出一种弹性节能调度策略(Elastic Energy-Aware Scheduling,EEAS),用于动态调度异构计算系统中非周期、独立任务.EEAS策略根据系统负载情况在系统节能与用户期望之间进行权衡,即当系统负载较重时,EEAS优先考虑用户期望,通过动态调整计算节点局部队列中等待任务的执行电压提高任务完成率;当系统负载较轻时,EEAS在尽量满足用户期望的基础上最大限度地降低任务执行电压以实现节能.文中通过大量的模拟实验比较了EEAS、GEA、HVEA和LVEA的性能.实验结果表明,EEAS的调度质量优于其他策略,可有效提高系统弹性.     

异种操作系统间的远程连接

以“物资供销企业计算机信息管理系统”中所遇到的异种机异种操作系统间的远程连接为背景 ,结合实际工作经验 ,对异种操作系统间的远程连接在电话线上的互连方法进行了较深的探讨。     

一种网卡硬件辅助虚拟化技术

经过多年的发展,CPU虚拟化和内存虚拟化技术已经成熟,但是I/O虚拟化技术一直是虚拟化技术发展的瓶颈,也制约着整个系统虚拟化性能的提升.目前,Intel的VT-d技术已经能够实现Passthrough I/O功能,而且还通过VT-d和网卡虚拟化实现了SR-IOV技术,有效地解决了I/O虚拟化中的诸多问题.     

多虚拟机环境下磁盘写优化机制

在虚拟化环境下,如何在写直达法和写回法之间做出权衡以使系统既具有较好的可靠性又具有较高的磁盘读写性能,是一个亟待解决的问题。本文提出了基于XEN的兼有写直达法和写回法优点的磁盘数据写操作方法。通过修改虚拟机块设备前后端驱动程序,在虚拟机管理器中为每个虚拟机建立块级别的虚拟机磁盘缓存。虚拟机中的应用程序均采取写直达的方式,将数据直接写到位于虚拟机管理器的虚拟机磁盘缓存中。结果表明,该机制能为虚拟机提供高效率的磁盘读写操作,同时,在虚拟机系统突然宕机时也能保证用户数据的完整性和可靠性。     

一种异构计算系统中考虑通信冲突的有效任务调度算法

任务调度是异构计算的核心问题之一 .现有的异构计算系统的任务调度算法基本上没有考虑任务通信时可能在同一通道中发生冲突的情况 ,因而造成任务调度的结果与实际运行结果之间的差异 .本文提出了一种异构计算系统中的基于表调度 (list scheduling)的启发式任务调度算法 ,该算法考虑了任务通信中通道冲突的情况 ,在不提高算法复杂度的同时提高了任务调度的性能 .文中还通过实例结果的比较说明了该算法的有效性     

科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.首先,简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计...     

新型高性能RapidIO互连技术研究

本文较为全面地介绍了RapidIO的主要技术特点,从RapidIO的体系结构、系统拓扑结构、物理接口、流控机制、报文特征、性能特点等多个方面对RapidIO互连技术进行了深入研究,并提出了一种基于RapidIO互连技术的CC-NUMA分布共享存储的系统方案。     

云环境下网络I/O虚拟化的研究与改进

云计算对网络的共性需求体现在无感知服务、资源动态适配、可靠性保障、虚拟化和安全性等方面,然而,虚拟化作为云计算数据中心的关键技术,就是最大化有限的物理资源提供有效的传输服务.为了解决高速网络I/O虚拟化在面临I/O密集的应用时导致的I/O性能降低问题,论文提出了网络I/O性能的优化方法:一种分层处理I/O调度的网络虚拟化模型,对云平台下的VM应用进行递进式的优化I/O策略.实验结果证明提出的模型能够提高网络I/O的性能并提高硬件资源的充分利用.     

一种低开销的面向节点内互连的网络接口控制器

高性能计算和云计算的飞速发展对高性能互连网络的设计提出了越来越高的要求:除了要保证高带宽、低延迟和高可靠性等特性,还要面临成本和系统规模的挑战.该文针对这些特性和挑战提出了一种低开销的基于cHPP体系结构的超节点网络接口控制器:(1)设计了兼容PCIe的网络通信协议,降低协议转换开销、减少通信延迟并增强系统可扩展性能;(2)采用PCIe高速通信接口并支持用户级通信提高软硬件交互效率,面向MPI编程模型抽象出高效通信原语(如NAP、PUT和GET)加速大数据传输;(3)硬件支持I/O虚拟化实现超节点内对网络接口控制器的高效共享.为了对该文的设计进行功能和性能验证,文章基于FPGA实现了系统原型,实验结果显示最低延迟为1.242μs,有效数据带宽可达3.19 GB/s.     

集群计算系统中并行I/O模拟器的研究与设计

论文对集群计算系统中的并行I／O技术作了分析,在理论研究基础上提出并行I／O模拟器的框架模型及研究、设计该模拟器的思路,并开发了一个并行I／O模拟器CLU—PIO—SIM的部分功能。     

复杂异构计算系统HPL的优化

当今世界的主流超级计算机越来越多地使用带有加速器的异构系统.随着加速器的浮点性能不断提高,超级计算机内计算节点的CPU、内存、总线、网络以及系统架构都要与之相适应.HPL(high performance Linpack)是高性能计算机评测的传统基准测试程序,复杂异构系统给HPL评测带来很多机遇与挑战.针对带有GPU的...     

An Interconnect Strategy for a Heterogeneous, Reconfigurable SoC

Editor's note:The diversification of the SoC market has increased the need for domain-specific programmable platforms that can be tailored to postfabrication products. This article presents a design case study on the interconnect for such a programmable platform, as part of the Morpheus project.—Li-Shiuan Peh, Princeton University     

面向边缘智能计算的异构并行计算平台综述

边缘智能计算对硬件资源的需求复杂多元,传统计算平台难以为继,异构并行计算平台成为边缘智能算法落地的关键途径之一。以深度学习算法和边缘计算为牵引,对异构并行计算平台展开研究。一方面,阐述了传统计算平台适配实现边缘智能计算的优缺点,指出边缘端应用场景中传统计算平台算力与功耗矛盾突出等局限性,并以指令模型、通讯机制和存储体系三个关键技术为线索梳理技术发展脉络。另一方面,从运算速度、功耗等角度重点对比分析了近年来典型异构平台较新的代表性产品,然后针对不同应用场景和约束条件给出了异构平台的选择建议：优先选择CPU+X组合的异构平台。功耗要求严格约束下的应用建议优先选择CPU+FPGA组合;功能迭代更新快的场景建议优先选择CPU+GPU组合;算法成熟且对实时性和功耗均具有高要求的应用优先选择ASIC计算平台。提出了异构并行计算平台在指令模型统一、通讯机制轻量化、存储体系灵活性以及开发生态完备化四个方面的问题与挑战,期望能为该领域研究人员带来一定的启发。     

异构计算中的负载共享

在基于消息传递的异构并行计算系统中 ,各处理器或计算机具有自制和独立地调度、执行作业的能力 .当一个可划分的作业初始位于一个处理器上时 ,为了提高计算性能 ,该处理器可以请求其他异构处理器负载共享 ,参与协同计算 ,减少作业的完成时间 .该文提出了异构计算负载共享的一种方案 .首先 ,调用负载共享协议 ,收集当前各处理器参与负载共享的许可数据 ,包括共享时间段、计算能力等 .然后 ,构造一个作业量与作业完成时间之间的关系函数 .该函数是选择一组合适的处理器群、优化作业划分、作业完成时间最小的理论基础 .最     

一种网络计算I/O加速方法:iSCSI透明可靠多播

本文提出了一种网络计算环境下的I/O加速方法:iSCSI透明可靠多播(iTRM)。通过在iSCSI网络计算系统中设计双路径:共享数据的多播传送路径和iSCSI协议数据包传递路径,来加速网络计算数据加载性能。并且在iSCSI启动器端对多播数据进行丢包检测和请求重传,由iSCSI会话重传丢失的数据包来保证I/O数据的可靠性。扩展了iSCSI协议以支持多播会话通告,设计了一种基于数据感知实现I/O路由选择的透明多播监控代理。测试结果表明,基于iTRM的iSCSI网络计算系统显著提升了多个客户主机的并发I/O性能,并对客户主机数量的增加具有良好的系统扩容性。     

虚拟化环境中线程级SLO保障的I/O软件框架研究

云计算产业的快速发展使得虚拟化技术在各大云服务商心目中占据重要地位。为了获取更高的利润,云服务商需要在保障用户体验的前提下尽可能地利用设备性能。通过利用I/O请求的优先级和重要性等信息,研究者们已经在Linux内核中实现了很多提高程序性能的方法。然而,虚拟机中的这些信息在传递到宿主机的过程中会丢失,所以 提出了一种基于服务水平目标SLO的I/O保障框架。首先分析了I/O请求优先级等信息丢失的原因,并提出了传递这些信息需要解决的关键性问题。在此基础上,本文提出的框架通过对Linux内核、virtio协议以及KVM的I/O虚拟化程序QEMU进行扩展,成功地将虚拟机线程的SLO信息传送至宿主机并在此基础上实现了基于SLO信息的调度器。最后,通过实验验证了框架的可行性,优先级最高的线程吞吐量可以达到260 KB/s,优先级最低的线程吞吐量只有10 KB/s,成功证明了由框架传递下来的SLO信息对宿主机中调度器的调度起到了积极作用。     

Optimal Period of Workload Redistribution for Dynamic Bulk Synchronous Computations in Heterogeneous Computing Systems

In dynamic bulk synchronous computations, processors may change their workloads from phase to phase. Such workload change will possibly increase the duration of a phase and the overall parallel execution time. Therefore, it is necessary to redistribute workload at runtime to reduce the parallel time. However, such workload redistribution at runtime can be expensive and the overhead of frequent runtime workload redistribution may exceed the benefit of workload redistribution and balancing. The problem of finding the optimal period of runtime workload redistribution for dynamic bulk synchronous computations is motivated by the combined consideration of parallel execution time and system overhead for workload redistribution and balancing. We develop an analytical method to solve the problem in heterogeneous computing systems. We also demonstrate numerical data of the analytical method and simulation results that verify the analytical data.     

面向异构计算的高性能计算算法与软件

研发适应国产异构计算环境的高性能计算算法与软件是非常重要的课题,对我国高性能计算软件研发匹配高性能计算硬件高水平发展的速度具有重要意义.本文首先简要介绍高性能计算应用软件的现状、趋势和面临挑战,并对几类典型高性能计算应用软件开展并行计算算法特征分析,涵盖了宇宙N体模拟、地球系统模式、计算材料相场动力学、分子动力学、量子计算化学和格点量子色力学等多个问题、尺度和领域.其次,我们讨论了面向国产异构计算系统的对策,提炼出若干典型应用算法和软件的共性问题,涉及核心算法、算法发展、优化策略等.最后,本文面向异构计算体系结构对高性能计算算法与软件进行了总结.     

复杂异构计算系统HPL优化研究

当今世界的主流超级计算机越来越多地使用带有加速器的异构系统.随着加速器的浮点性能不断提高,超级计算机内计算节点的CPU、内存、总线、网络以及系统架构都要与之相适应.HPL（High Performance Linpack）是高性能计算机评测的传统基准测试程序,复杂异构系统给HPL评测带来很多机遇与挑战.针对带有GPU的异构超级计算机系统,提出一套新的CPU与加速器计算任务分配方式,提出平衡点理论指导HPL性能优化.为了优化HPL程序,提出了使用CPU与加速器协同工作的look-ahead算法和行交换连续流水算法,实现了加速器、CPU、网络等部件的高度并行.此外,为带有加速器的系统设计了新的panel分解和行交换的实现方法,提高加速器的利用率.在每个节点带有4个GPU的系统上,单节点HPL效率达到79.51%,14884节点效率达到62.22%.