面向多集群对等调度的网格系统研究与设计

利用对等模式进行多集群间作业调度,不仅增强网格系统的可扩展性和容错能力,而且使每个集群成为自主调度单元,通过彼此协作共同完成作业。系统将Globus网格中间件系统和OpenPBS调度系统有机的结合起来,通过增加辅助的调度服务,使网格作业在多个集群间迁移并且有效缓解单个集群的作业负担。     

面向车辆边缘计算的任务合作卸载

随着物联网技术和人工智能技术的飞速发展，车辆边缘计算越来越引起人们的注意。车辆如何有效地利用车辆周边的各种通信、计算和缓存资源，结合边缘计算系统模型将计算任务迁移到离车辆更近的路边单元，已经成为目前车联网研究的热点。由于车辆应用设备有限的计算资源，车辆用户的任务计算需求无法满足，需要充分利用车辆周边的计算资源来计算任务。本文研究了车辆边缘计算中任务的合作卸载机制，以最小化车辆任务的计算时延。首先，设计了任务合作卸载的三层系统架构，考虑了车辆周边停泊车辆的计算资源以及路边单元的计算资源，组成云服务器层、停泊车辆合作集群层和路边单元合作集群层的三层架构。通过路边单元合作集群和停泊车辆合作集群的合作卸载，充分利用系统的空闲计算资源，进一步提高了系统的资源利用率。然后，基于k-聚类算法的思想提出了路边单元合作集群划分算法对路边单元进行合作集群的划分，并采用块连续上界最小化的分布式迭代优化方法设计了任务合作卸载算法,对终端车辆用户的任务进行卸载计算。最后，通过将本文算法和其他算法方案的进行实验对比，仿真结果表明，本文算法在系统时延和系统吞吐量方面具有更好的性能表现，可以降低23%的系统时延，并且能提升28%的系统吞吐量。     

一种高效的网格任务管理器组件的设计和实现

随着分布式计算系统的需求不断增长,集群分布式系统在处理作业提交和作业查询时出现了相当大的通讯延时问题,降低了系统性能.Task Broker是基于ACE开发环境开发的一种高效的网格任务管理器组件,它采用改进的Fair-Share算法来计算作业的优先级,通过使用ACE提供的应甩接口,实现了以异步方式使用一个或多个线程并发处理多个客户端请求的功能.文中介绍了基于Task Broker分布式并行计算系统的结构;详细阐述了用来计算作业优先级的Fair-Share算法以及Task Broker的模型和实现;并且对Task Broker的性能进行了分析和比较.实验证明,Task Broker较好地解决了通讯延时问题,大大减轻了系统的性能开销.     

Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

Spark框架并行度推断算法

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法（parallelism deduction algorithm,PDA）,通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。     

集群环境下一种基于交易模型的空闲资源分配方法

针对集群中地理位置分散的计算资源的使用不均衡现象，提出了一种基于交易模型的空闲资源分配方法。该算法解决了分布计算资源的自治性问题、异构支持问题、资源管理者域限制问题和动态控制问题。首先给出了交易模型的构架，其次给出了交易模型匹配算法，最后对该算法进行了系统的评价。该算法已经在一个大型网络作业管理系统中得到应用，取得良好的效果。     

基于集群技术的作业管理系统

可升级性与可用性是当前软件开发的一个目标,集群技术就是为了实现这一目标而提出的。基于集群技术,建立了新的作业管理系统的硬、软件运行环境。在集群服务器运行环境的基础上,提出了作业迁移的模型以及集群节点的恢复算法,该系统已经在一个大型作业管理系统中得到具体实现。     

延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

简易起重设备中水平地锚的设计与计算

地锚是起重系统的根基，对吊装作业的安全意义重大，本文通过实例介绍水平地锚设计计算的内容和方法。     

一种在线集群异常作业预测方法

设计了作业子任务动态特征计算方式;其次依据此动态特征提出一种改进门控递归单元（IGRU）神经网络;然后采用IGRU根据动态特征实时预测任务终止状态是否异常;最后根据作业与其子任务运行状态之间的状态相关性检索异常作业,完成对异常作业的预测.实验结果表明,在线集群异常作业预测在预测灵敏度、误差率、精确度和预测时长方面与其他预测方法相比有明显提升;在保障集群平台安全方面具有一定的应用性.     

湖南省气象局远程高性能计算环境的设计与实现

湖南省气象局依托国家超级计算长沙中心,建立了我省第一个远程高性能计算终端用户.针对远程环境的搭建,首先分析了湖南省气象局在高性能计算方面的需求,然后从省级气象部门业务计算需求出发,重点阐述了以高性能计算机集群"天河一号"为计算资源的远程计算环境的系统架构以及主要技术路线与方法.考虑到远程高性能强大的计算能力和省级气象部门作业提交的复杂需求,又进一步设计了湖南省远程高性能任务调度的系统流程以及保障远程计算环境高速稳定的多层面方案.最后也给出了高分辨率中小尺度WRF模式在该环境下运行的实际情况,计算速度改善非常明显.     

校园网分布式计算环境的建立

以ＰＶＭ系统为网络进行计算平台,选择合适的机群上的操作系统,建立了校园网分布式计算环境,介绍了ＰＶＭ的计算模型、ＰＶＭ系统在校园网上的实现过程及ＰＶＭ应用程序的编制和编译链接方法等,从而解决了网络上并行计算的问题,利用局域网建立分布式计算环境,是我国科研和教育部门进行并进计算一的条有效的途径。     

基于Linux与MPI的集群并行系统的实现

计算机的集群技术是高性能并行计算中的一个研究热点.对于有海量运算需求的企业和研究项目来说,集群并行计算系统是他们的最佳选择.本文简要介绍了linux集群技术和MPI并行程序设计的原理,结合一个并行程序实例设计了一个linux集群,并对linux集群系统进行了性能评测.     

关于异构环境下网格计算模式及体系结构的设计研究

与机群系统相比,网格计算模式的优势在于：可以更好地解决资源的异构性问题,支持资源的柔性伸缩及多种并行编程环境,支持科学计算库与工具软件,支持可视化动态人机交互。网格计算模式的体系结构是具有一定智能的分层结构。参考5层沙漏结构思想和前人的研究成果,研究设计具有资源底层、安全调度层、抽象接口层、中间件层、应用接口层和应用层等6个层面的网格计算系统多层体系结构。     

基于MPI并行的遥感影像系统级几何校正快速处理技术研究

随着对地观测技术的飞速发展,通过遥感卫星获得的数据量正在迅速增加,各种应急应用需求也在日益增长．通过与快速计算技术相结合,特别是与并行处理相结合能够显著提高整个影像的快速处理速度．从遥感影像系统级几何校正处理的特点以及对现在提出的各种并行技术MPI、OpenMP、TBB、CUDA进行分析,通过研究提出了相应的快速处理技术,并通过基于MPI的简要机群进行了实验,取得了良好的效果,为下一步的高性能遥感影像计算等研究提供了参考．     

基于MPI并行的遥感影像系统级几何校正快速处理技术研究

随着对地观测技术的飞速发展,通过遥感卫星获得的数据量正在迅速增加,各种应急应用需求也在日益增长,通过与快速计算技术相结合,特别是与并行处理相结合能够显著提高整个影像的快速处理速度.从遥感影像系统级几何校正处理的特点以及对现在提出的各种并行技术MPI、OpenMP、TBB、CUDA进行分析,通过研究提出了相应的快速处理技...     

构建高性能集群计算机系统的关键技术

高性能计算机技术是衡量一个国家科技水平及综合国力的重要标志之一,目前世界上一些发达国家都在争相投入巨额资金对它进行开发和研究.PC集群计算机就是最廉价的高性能计算机.着重讨论了集群计算机系统构建中的一些关键技术,如可扩展性、可用性、资源管理、负载平衡和并行程序设计环境等,并给出了一个基于MPI环境的并行程序设计实例,同时,也根据集群系统的特点提出了它在不同领域中的实用意义.     

基于SoC的“微型核”星载电子系统设计

为检验"微型核"航天器设计平台的功能,对星载电子系统进行优化设计.采用主流的SoC设计方法,通过功能模块化映射将ARM7内核,C8051单片机、RFIC射频模块等单元模块集合为一体,借助软件设计平台,形成了具有丰富I/O接口,高处理速度的星载电子系统原理样机.在与哈尔滨工业大学TS-1星载计算机的功能对比中,"微型核"星载电子系统出色的完成了星务管理、数据采集传输,姿态轨道控制等多种任务,控制精度满足任务要求.结果表明基于SoC的星载电子系统有能力替代现有的星载计算机成为未来微型航天器的核心.