三维等离子体粒子模拟程序的数据模型和I/O性能改进

文章围绕强激光与等离子体相互作用三维数值模拟程序LARED-P数据输出存在的问题,给出了基于HDF5格式的数据模型,通过将计算结果进行重新组织和管理,实现了数据的实时压缩存储和高性能并行I/O,获得了较好的空间存储效率和时间效率,同时,程序提供了灵活的数据搜索机制,能够在程序运行过程中提取数据子集,满足了可视化系统准实时读入数据的需求。     

基于HDF5文件格式的KYLIN-2软件组件库

KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格（组件）计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5（HDF5）的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。     

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统（NFS）实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterL...     

基于HDF5格式的FAST望远镜数据重分布策略

目前,世界上最大的单口径射电望远镜FAST (Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战。本文结合科学数据存储格式HDF5（Hierarchical Data Format Release 5）和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法。通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集。实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率。     

基于选择性加载策略的电能质量数据处理

根据电能质量系统中监测数据海量化的趋势,提出了一种基于部分存储和选择性加载的数据处理算法,彻底解决了现有数据处理算法中重复排序和多余处理的问题。在计算日指标时,根据存储率存储部分日排序数据;在计算周(月、季、年)指标时,利用多路归并算法将存储的部分日排序数据合并,计算出临时95概率大值(CP95);根据临时CP95确定需要重载的日数据,对部分存储的日数据和重载数据重新排序以计算稳态指标。部分存储的日排序数据可以重复利用,有效解决了传统处理方案中的重复排序问题;排序过程中只需读取部分日排序数据和少量重载数据,有效解决了传统处理方案中冗余处理问题。与传统的数据处理方法做测试对比,结果表明:日采样数据较小时,性能提升3倍以上;日采样数据超过2880时,性能提升15倍以上。数据量越大,性能提升越明显。所提方案已在山西、河北等监测系统中成功应用,实践证明所提方案正确、有效。     

基于HDF5的结构网格计算流体动力学程序并行I/O技术

大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。     

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。     

拖曳线列阵声呐数据录取系统的设计与实现

为了满足拖曳线列阵声呐系统数据传输实时性高、数据量大的要求, 设计了一种基于PCI总线的数据录取系统。硬件方面, 系统采用PCI9054高效率DMA传输技术与外扩大容量FIFO相结合的方案, 实现了高速、连续的声呐数据传输; 软件方面, 系统结合基于双层乒乓结构的内存映射文件和多线程技术实现了数据的实时存储、处理及显示。模拟及现场实验结果表明, 该录取系统能稳定、可靠地实现声呐数据的实时存储、波形回显等功能, 能满足大规模声呐系统数据录取的要求。     

面向数值模拟数据的HDF5性能优化

大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.     

基于XML和正则表达式的气象数据处理系统

随着气象综合观测网建设的不断推进,气象实时数据信息传输种类和数据量急剧增加。同时,气象实时数据信息的传输处理呈现某一特定时段需并行处理多类实时数据信息的特点。为实现气象数据信息高效、可靠、完整、及时的收集、存储和共享,采用XML标记语言对各类实时数据信息的报文内容进行标识和说明的方法,形成各数据业务类型定义,结合基于正则表达式的数据处理应用,使系统具备适应气象观测数据业务变化的能力。实现了对实时气象数据信息在省级中心的收集、处理、分发,改善了原有业务系统繁杂、功能单一、扩展性差、效率低等缺陷。     

并行科学计算应用中采样数据的聚集I/O

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。     

Fast randomized algorithm for center-detection

Recently, Cauchie et al. presented an adaptive Hough transform-based algorithm to successfully solve the center-detection problem which is an important issue in many real-world problems. This paper presents a fast randomized algorithm to solve the same problem. With similar memory requirement and accuracy, the computational complexity analysis and comparison show that our proposed algorithm performs much better in terms of efficiency. We have tested our algorithm on 13 real images. Experimental results indicated that our algorithm has 38% execution-time improvement over Cauchie et al.'s algorithm. The extension of the proposed algorithm to detect multiple centers is also addressed.     

The expressive task specification and adaptive image data handling for mobile applications

An efficient multimedia data handling is a fundamental requirement of mobile multimedia applications. To accommodate this requirement, issues of the available technologies as well as mobile multimedia data access and transfer processes, and the characteristics of the medium to be handled should all be taken into consideration. For this end, these aspects are investigated. The results of the investigation lead to the conclusion that an expressive task specification and adaptive multimedia data handling should be provided. With an expressive task specification, a demand for accessing multimedia object can be described flexibly to enable a minimum handling overhead (thus high performance) and an optimal compromise between performance, cost and quality. Adaptive media handling functionality adapts the service performance according to the medium to be accessed, the available resources and compromise preference of a mobile client, etc. This paper presents the new concepts and methods for these two aspects.     

基于Imagine流处理器的JPEG图片压缩技术

Imagine流体系结构利用三级存储层次较有效地解决了带宽问题,其多处理器也提供了数据操作的高度并行性,我们在Imagine平台上实现了JPEG压缩算法。本文详细说明了JPEG在Imagine上的实现和运行性能,并且和C6211DSP作了性能比较,实验结果表明Imagine流处理器比C6211DSP在图片压缩上具有更优的性能,验证了流处理器在处理大型数据上的优势。     

基于文本聚类与分布式Lucene的知识检索

针对传统集中式索引处理大规模数据的性能和效率问题,提出了一种基于文本聚类的检索算法。利用文本聚类算法改进现有的索引划分方案,根据查询与聚类结果的距离计算判断查询意图,缩减查询范围。实验结果表明,所提方案能够有效地缓解大规模数据建索引和检索的压力,大幅提高分布式检索性能,同时保持着较高的准确率和查全率。     

In-memory application-level checkpoint-based migration for MPI programs

Process migration provides many benefits for parallel environments including dynamic load balancing, data access locality or fault tolerance. This paper describes an in-memory application-level checkpoint-based migration solution for MPI codes that uses the Hierarchical Data Format 5 (HDF5) to write the checkpoint files. The main features of the proposed solution are transparency for the user, achieved through the use of CPPC (ComPiler for Portable Checkpointing); portability, as the application-level approach makes the solution adequate for any MPI implementation and operating system, and the use of the HDF5 file format enables the restart on different architectures; and high performance, by saving the checkpoint files to memory instead of to disk through the use of the HDF5 in-memory files. Experimental results prove that the in-memory approach reduces significantly the I/O cost of the migration process.