大规模并行计算机系统硬件故障容错技术综述

计算机系统的容错是一个不容忽视的问题。近年来,随着系统结构的复杂性增加,半导体制造工艺的发展,线宽的降低以及集成度的提高,从用户桌面系统到分布式计算环境,乃至大规模并行计算机系统,功耗和可靠性问题都很突出。本文首先介绍了计算机系统可靠性和容错技术的基本概念、基本方法和基本思想,然后回顾了近些年来一些具有代表性的硬件故障检测技术和硬件故障恢复技术,其中重点介绍了针对大规模并行计算机系统提出的容错方法。本文还介绍了我们在先前的研究工作中提出的一种优化的故障恢复技术,称为容错并行算法。最后,总结了一些可能的研究方向。     

确定性网络技术研究

随着新兴应用的不断涌现,越来越多的业务需要低时延、低抖动地进行可靠传输,尤其在工业场景中,接入网络设备数量激增,网络朝着大规模、复杂化的方向发展,如何保障其中关键数据流的确定性交付成为研究的重点.确定性网络技术由于其低时延、低抖动、低丢包率、确定性带宽、高可靠传输等特性受到了广泛关注,在车载、能源及工业自动化等领域有着良好的应用前景.对当前的确定性网络关键技术进行了阐述,介绍了两种不同场景下的确定性网络融合部署解决方案,最后对确定性网络技术走向实际应用所面临的挑战进行了分析.     

非确定性数据查询

数据库技术中尽管有完整性约束技术用来维护数据的确定性,但有些情况可能不满足完整性约束。本文提出了非确定性数据的确定性查询概念,给出的查询重写方法能有效地进行数据库SQL查询语句,它可以违反一系列的约束条件,重写查询去查找相应的与约束一致的数据。     

实时系统时间并行模型确定性分析

研究实时并行系统的确定性,采用面向执行体构件建模和广义测度固定点理论研究系统收敛条件.把实时系统构建为用时间信号联系的面向执行的构件集合,采用超致密时间(SDT)表示混合系统信号标签模型,定义构件为时间模型上的偏序集函数,构成有反馈作用的偏序集函数组合,用广义超测度空间固定点理论分析时间并行模型因果构件的收敛性和系统响应的存在和唯一性.     

确定性退火技术

根据统计物理的退火过程,深入地研究了确定性退火技术。首次对确定性退火技术的物理背景作了详细的描述。该技术利用传统优化方法,通过选定一特殊初始点求解自由能函数的极小值来模拟系统的平衡态,并在理论上成功地证明了当自由能函数满足一定条件时,自由能函数的全局最优解是温度的一连续映射,从而为确定性退火技术提供了可靠的理论依据。     

非确定性数据库中空值处理

尽管关系数据库有很多优势,但它缺乏一种处理非确定性数据的能力.目前,已经提出了几种将非确定性结合到关系数据库模型的方法,它们对关系数据库模型做了诸多扩展.但空值问题依旧存在,一些模型根本就没有考虑空值因素.这违背了非确定性数据库要更加真实地反应现实世界的初衷.为此,给出了一种非确定性数据库系统中空值处理方法,改进现有非确定性数据库模型中对空值处理不完善的情况.     

多核处理器并行程序的确定性重放研究

多核处理器并行程序的确定性重放是实现并行程序调试的有效手段,对并行编程有重要意义。但由于多核架构下存在共享访存不同步问题,并行程序确定性重放的研究依然面临多方面的挑战,给并行程序的调试带来很大困难,严重影响了多核架构下并行程序的普及和发展。分析了多核处理器造成并行程序确定性重放难以实现的关键因素,总结了确定性重放的评价指标,综述了近年来学术界对并行程序确定性重放的研究。根据总结的评价指标,从纯软件方式和硬件支持方式对目前的确定性重放方法进行了分析与对比,并在此基础上对多核架构下并行程序的确定性重放未来的研究趋势和应用前景进行了展望。     

基于长并行距离优先的确定性多线程调度

随着多核技术的不断发展,多线程技术更加广泛地应用于计算机软件中.但由于执行的不确定性,多线程程序的排错和调试存在着很大的困难.确定性多线程系统可以使多线程程序以确定的方式执行,即多次执行同一个多线程程序的顺序和结果是相同的,这可以大大简化多线程程序的排错和调试.但是,确定性多线程系统会导致多线程程序性能的下降.本文提出一种基于长并行距离优先的确定性多线程调度算法,优先执行并行距离长的线程,减少线程总体等待时间,从而提高多线程程序的效率.实验结果表明,本文方法可以使多线程程序的性能提升10%,并且具有很好的可扩展性.     

高性能并行I／O实现技术分析

本文就实现高性能并行Ｉ／Ｏ的技术问题作了一番比较,认为具有独立Ｉ／Ｏ网的外部并行Ｉ／Ｏ结构是最适于实现高性能并行Ｉ／Ｏ的平台。因而,只有从应用算法研究着手,获取适合并行Ｉ／Ｏ的数据布局类型,并在语言、编译和ＯＳ的支持下实现这种布局和并行Ｉ／Ｏ访问,才有可能达到较理想的性能指标。     

编译指导的构件并行技术

提出了一种新的面向科学计算的构件技术——编译指导的构件并行技术，旨在提高构件间的并行度和数据的局部性，避免通信瓶颈。该技术分为两个阶段：域划分和子构件组合。其中域划分利用了编译时的数据依赖分析技术，子构件纪合利用了所设计的基于区间数据的模糊聚类算法。     

基于硬件辅助的用户态并行程序记录方法

程序调试工作的首要基础是错误可重现,然而并行程序执行过程存在天然的不确定性,尤其在多核处理器上,如何重现并行程序的错误是一个巨大的挑战.现有的方法或记录整个系统的状态或需要细粒度插桩,存在可用性差与运行时开销大等问题.本文首次提出一种基于硬件辅助的面向用户态并行程序的轻量级记录与重放方法,该方法通过软件协助来记录信号、系统调用与操作系统调度相关的序关系;利用硬件记录访存冲突,同时在记录过程中采用基于目录的方法来压缩日志存储.通过在16核模拟平台上评估,本文提出的方法不仅方便了用户态并行程序调试,同时减少了81%的存储日志开销.     

Multiprocessing ocean circulation: Modeling, implementation, and performance on the Intel Paragon

In this paper we present the modeling and implementation of a grand challenge problem in the field of scientific computation: the primitive-equation numerical ocean circulation model. We present the mathematical formulation of the model and propose a scheme for its parallel implementation. Optimizations are made through collective communications and various partitioning schemes. In our experiments, which use up to 100 processors on the Intel Paragon parallel computer, the proposed strategy yields an encouraging speedup and exhibits a sustained scalability with increasing problem and machine sizes. We consider barotropic continental shelf waves in a periodic channel as a test problem. The model has numerous applications in environmental studies and ocean sciences.     

Deterministic SkipNet

We present a deterministic scalable overlay network. In contrast, most previous overlay networks use randomness or hashing (pseudo-randomness) to achieve a uniform distribution of data and routing traffic.     

一种高效的大数据实时性解决方案

大数据计算是物联网和云计算的研究热点之一.针对大数据中的结构化和非结构化数据,Hadoop技术在实时性要求不高的场景中应用效果较好,但在实时性要求高的场景中不能满足需求.针对这一问题,论文利用对象化并行计算提出了一种高效的实时性解决方案.对象化并行计算融合了对象化、Hadoop、内存计算等技术.在方案中,业务数据格式化成对象并分布式存储到集群计算机内存中,任务拆分成子任务通过并行计算来完成.对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中,应用效果表明该方案可大幅度提升系统性能,满足实时性需求.     

Cluster based parallel database management system for data intensive computing

This paper describes a computer-cluster based parallel database management system (DBMS), InfiniteDB, developed by the authors. InfiniteDB aims at efficiently support data intensive computing in response to the rapid growing in database size and the need of high performance analyzing of massive databases. It can be efficiently executed in the computing system composed by thousands of computers such as cloud computing system. It supports the parallelisms of intra-query, inter-query, intra-operation, inter-operation and pipelining. It provides effective strategies for managing massive databases including the multiple data declustering methods, the declustering-aware algorithms for relational operations and other database operations, and the adaptive query optimization method. It also provides the functions of parallel data warehousing and data mining, the coordinatorwrapper mechanism to support the integration of heterogeneous information resources on the Internet, and the fault tolerant and resilient infrastructures. It has been used in many applications and has proved quite effective for data intensive computing.     

一种适应数据与计算密集型任务的私有云系统实现研究*

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连     

数据网格中基于优化机制的通信模型

针对基于多计算机机群构成的网格的大规模并行计算的需要,对多级分组通信模型的单一机群分组通信进行了研究。探讨了在单一机群内的主动节点、被动节点个数和各个计算节点的能力以及机群网络的带宽之间的形式化关系,优化了通信结构,描述了基于能力优化机制的通信模型。理论和试验表明,该模型充分利用了机群的计算节点能力、网络通信能力。该模型适合基于网格的并行计算。     

基于OPC框架的高效计算服务应用

大数据计算是当前云计算研究的热点之一. 在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得传统的数据加工性能日益劣化. 在复杂的业务场景下,由于海量的电力数据,使得数据指标加工计算的效率非常低下,传统方式的加工任务经常耗时数个小时,难以满足用户的体验要求. 为了解决这个问题,全面提升数据指标加工任务效率,基于对象化并行计算（Objectification Parallel Computing,OPC）框架实现了一种高效计算服务,OPC是分布式并行内存计算框架. 在OPC框架中,大数据集被拆分成小数据集,并分布式地存储在集群内存中. OPC计算任务借鉴了分而治之和归并树的思想,将计算任务分成两个阶段：本地计算任务和计算结果收集汇总. 计算任务基于本地计算数据进行计算,得到本地计算结果,然后将计算结果通过收集结点进行汇总合并,最后得到最终结果. OPC框架技术应用在国家电网公司工程生产管理系统（PMS）中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足高效计算需求.