科学计算双路并行I/O优化方法

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.     

科学计算浮点数据的高性能无损压缩

科学计算在科学界及工业界发挥着越来越重要的作用,所随之产生的科学数据也越来越多.因二级存储(如硬盘)的读写速度通常较慢,庞大的数据量除了占据存储空间之外,还影响着系统性能.文中通过系统研究浮点数据的特性,建立预测精度和压缩比之间的关系的理论体系.通过利用科学数据之间的相关性,采用多种预测器以及高效熵编码方法,提出一种科学数据高性能无损压缩方法.该方法既不需要使用者有关于原始数据的先验知识,也不需要使用者自行设计预测器.通过与其他压缩方法进行比较,结果表明文中方法的压缩比远高于其他方法,并同时具有恒定的海量压缩吞吐量.该方法已被应用于大规模颗粒动力学仿真系统的数据压缩.     

面向GPU存储优化的程序重构方法

图形处理器(GPU)的高性价比吸引了越来越多的科学计算.和图形应用相比,科学计算程序存在纷杂的数据依赖和不规则访问,影响其在GPU上的执行性能.为此,提出一种面向GPU体系结构的程序重构方法.通过计算重构增大程序的可并行性和计算密集性,改善GPU上计算资源的利用率.通过数据重构消除程序中的不规则数据访问,使用向量数据类型提高程序的存储带宽.实验结果表明:文中提出的优化方法减少了程序在GPU上的执行时间,获得了1.17 ～8.91倍的加速比.     

JADLib-科学计算数据高层I/O软件库

JADLib是为满足大规模复杂结构数据的存储与共享需求而研制的科学数据I/O软件库。其目标是设计并实现管理科学计算网格数据的数据存储模型,支持多种复杂结构数据的表示与操作,应用程序接口直观、易掌握,文件格式统一、可直接可视化,提供并行I/O、数居子集访问、压缩存储等高性能存储机制,支持多类科学计算程序跨平台使用,目前已应用到惯性约束聚变、高功率微波、计算流体力学、材料科学等多个研究领域中。实际应用表明,JADLib对于解决数值模拟软件数据存储及后处理分析所面临的I/O效率与组织管理问题具有很好的应用效果。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

面向数值模拟数据的HDF5性能优化

大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.     

基于软件共享存储的Co-Array Fortran编译器实现

Co-Array Fortran(CAF)已经成为Fortran语言标准的一部分,在科学计算领域逐渐被接受。基于软件共享存储实现了一个CAF编译器,其通过直接的数组赋值实现Co-array数据通信,利用数据垫塞技术提高数据局部性,减少伪共享,优化CAF程序性能。典型科学计算程序测试表明,CAF能够获得和MPI相当的性能。     

并行无存储冲突的邻接矩阵算法

邻接矩阵算法在科学计算与信息处理方面有着极为重要的应用,是图论的基础研究之一。针对目前邻接矩阵算法多是基于串行,或并行SIMD模型而无法解决存储冲突的问题,提出一种基于SIMD-EREW共享存储模型的并行邻接矩阵算法。算法使用O(p)个并行处理单元,在O(n2/p)的时间内完成对n个数据点邻接矩阵的计算。将提出算法与现有算法进行的性能对比分析表明:本算法明显改进了现有文献的研究结果,是一种并行无存储冲突的邻接矩阵算法。     

学习数据结构的意义和作用

0.引言为什么要学习数据结构?数据结构是否是一门纯数学课程?它在专业课程体系中起什么样的作用?许多学生学完后也茫然一片,为此我们很有必要探讨一下学习数据结构的意思和作用。众所周知,计算机科学是一门研究数据表示和数据处理的科学。数据是计算机化的信息,它是计算机可以直接处理的最基本和最重要的对象。无论是进行科学计算或数据处理、过程控制以及对文件的存储和检索及数据库技术应用等,都是对数据进行加工处理的过程。因此,要设计出一个结构好效率高的程序,必须研究数据的特性及数据间的相互关系及其对应的存储表示,并利用这些特性…     

X处理器存储层次研究

随着计算机应用领域不断拓展,流媒体应用及科学计算正成为微处理器的一种重要负载.流媒体应用的特征是大量的数据并行、少量的数据重用以及每次访存带来的大量计算.因为带宽的限制,传统的微处理器结构很难满足这些特点.X处理器是一款流处理器,针对流应用特点,X处理器采用了新型的三级流式存储层次:局部寄存器文件、流寄存器文件和片外存储器,有效解决了带宽问题.本文在模拟平台采用了两种方法(RS码和测试程序)测试,验证了流存储层次解决带宽瓶颈的有效性,也证明了设计的正确性.     

遥感网格的数据压缩与任务分配方法研究

网格计算作为分布式计算在科学计算领域的发展方向,可以为对地观测数据的处理提供强大的计算力。在分析遥感信息服务网格节点(Remote Sensing Information Service Grid Nodes,RSSN)中网络数据传输和负载均衡两个关键问题的基础上,提出了一种有效的基于游程编码和Huffman编码的数据压缩方法和基于"计算端元"的任务分配策略,该方法针对遥感影像特点进行有效数据压缩,具有较好的压缩比,达到了17%,且能实现任务负载均衡。并在遥感信息服务网格节点计算平台上,以中国范围内1km分辨率气溶胶光学厚度(Aerosol Optical Depth,AOD)反演计算为例,从压缩率和计算时间效率方面验证和分析了上述方法的有效性。     

In Situ Visualization at Extreme Scale: Challenges and Opportunities

Scientific computing at the petascale level enables us to answer many difficult scientific questions, but the resulting data are too large to store and study directly with conventional postprocessing visualization tools. This problem will only become more severe as we reach exascale computing. A plausible, attractive solution involves processing data in situ with the simulation to reduce the data that must be transferred over networks and stored and to prepare the data for more cost-effective postprocessing visualization. The data could be reduced with compression, feature extraction, and visualization methods. This article discusses critical issues in realizing in situ visualization and data reduction and suggests important research directions.     

科学计算元数据研究与应用

随着高性能计算能力的不断提高,由此而带来的数据规模的急剧扩大,给科学计算数据的管理和处理方法带来了极大的挑战.解决这些问题的一个有效的途径就是使用元数据.提出和定义了科学计算元数据SCMD(scientific computing metadata),并成功应用于高层网格数据函数库和元数据管理系统中.     

如何进行数据压缩

信息如何被高效存储和传递的问题一直是计算机研究的一个重要课题,而解决这一问题的最常用的就是数据压缩技术。首先讲述了数据压缩的原理、分类,然后用哈夫曼方法编写了一个用于无损压缩的算法并对这个算法进行了详细的描述。这个算法不仅适用于文档类文件的压缩,还可以对图像类文件进行压缩。最后对这个算法进行分析得出结论。     

低熵图像序列无损压缩

大规模的云渲染技术带来了大量的三维图形渲染数据。为了减小集群渲染产生的图像序列数据的传输以及存储代价,针对渲染图像序列低熵的特点,基于字典编码技术提出了降低数据局部复杂性的无损数据压缩方案。该方案通过数据重排技术来大大提高数据的局部冗余度,从而提高数据无损压缩效率。为了进一步解决大规模图像序列的压缩耗时问题,提出了一种云计算平台上的分布式图像压缩处理方案,充分利用现有云计算中Map/Reduce计算模型实现了分布式编码方案。实验结果证明,对于渲染产生的大规模低熵图像序列,提出的方案能够有效提高编码率并减少编码时间。     

基于遗传进化的元胞级并行无失真数据压缩方法

利用一阶和二阶细胞自动机,进行元胞级并行无失真数据压缩,细胞自动机中的数据压缩规则由遗传进化算法得到,构造相应的全局置的置换映射,分别证明了一阶和二阶细胞自动机文本压缩规则的正确性。讨论阴关的时间复杂性及符号动力学特性。     

普适计算环境中上下文模型的建立

普适计算作为第三代计算方式已经成为科学研究的前沿,上下文作为普适计算中最为重要研究方向之一,对普适计算的研究和发展有着大力地推动作用.就建立普适计算环境上下文模型进行了分析和讨论,对上下文的数据和通信方式也进行了分析,为上下文的实际应用提供一些理论基础准备.     

Classification by compression: Application of information-theory methods for the identification of themes of scientific texts

A method for automatic classification of scientific texts based on data compression is proposed. The method is implemented and investigated based on the data from an archive of scientific texts (arXiv.org) and in the CyberLeninka scientific electronic library (CyberLeninka.ru). Experiments showed that the method correctly identified the themes of scientific texts with a probability of 75–95%; its accuracy depends on the quality of the original data.     

Spark任务间消息传递方法研究

当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现。针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式。通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统。测试结果表明,在数值计算和迭代算法上相比Spark至少有50%的性能提升。