基于HDF5文件格式的KYLIN-2软件组件库

KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格（组件）计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5（HDF5）的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。     

HDF5在大型有限元软件数据管理中的应用

大型有限元软件需要处理和维护结构复杂、数量庞大的数据集合。通过研究层次文件格式Hierarchical Data Format(HDF5)及其在有限元软件数据存储格式中的应用,对有限元数据进行抽象归类并采用HDF5的C++接口进行存取实现。测试表明,由于HDF5具有自述性、通用性、灵活性及扩展性,该存储格式表现出较常规存储方案更高的效率,尤其在大规模有限元数据存取中具有显著优越性,为有限元软件开发提供了一种新的数据存储及管理方案。     

基于HDF5文件格式的数据管理系统

随着科学技术的发展,获取的科学数据越来越多,如何有效的存储及管理这些海量数据,成为当前一个突出的问题。介绍了基于delphi,hdf5格式以及Python脚本语言的系统体系设计,并给出了一个基于HDF5文件格式的数据管理系统实例。     

基于HDF5格式的FAST望远镜数据重分布策略

目前,世界上最大的单口径射电望远镜FAST (Five-hundred-meter Aperture Spherical radio Telescope)处于调试期,采集的数据面临着加载效率上的瓶颈,给后续的数据处理效率带来了挑战。本文结合科学数据存储格式HDF5（Hierarchical Data Format Release 5）和数据降维,提出一种适合大多数FAST望远镜数据处理场景的存储优化方法。通过优化,硬盘中的数据从二进制表格模型转换为按类型分布的多个数据集。实验结果表明本文提出的方法能够显著提高FAST望远镜的数据加载效率。     

面向数值模拟数据的HDF5性能优化

大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.     

基于XML的联机数据分析系统

本文叙述了联机数据分析系统分析模型、结构和特点,系统采用XML技术对数据结构进行描述,将XML结构与JTree树节点建立一一对应的关系。并将XML文件保存在Native—XML数据库,这样的联机数据分析系统具有较好应用前景。     

基于HDF5的煤矿地质三维层叠网格模型分布式存储研究

利用真三维网格化地质模型实现煤矿地质环境的多分辨率表达和多参数的融合是煤矿地学大数据研究的重点内容之一,其核心问题是三维地质模型数据组织、存储和管理等。针对煤矿三维地质网格模型的数据规模、分布式存储和查询性能等问题,提出了一种基于HDF5的煤矿地质三维层叠网格模型分布式存储方案。在网格数据组织方面,采用层叠网格模型对三维地质模型数据进行压缩和分块组织,通过数据分块解决大规模地质网格模型数据的组织问题,数据分块同时将空间相近的数据集中在相邻的硬盘扇区或存储设备中,有利于提高数据调度效率。在数据存储方面,HDF5作为存储的持久化层,用来存储所有的原始数据,采用内存数据库Redis存储热点数据、HDF5元数据等相关信息。在Web服务方面,使用H5Serv发送和接收HDF5数据。在HDF5实现分布式方面,利用网络文件系统（NFS）实现HDF5数据在不同节点服务器之间的共享;利用Rsync和Inotify实现HDF5数据在不同节点服务器的数据实时同步;通过Nginx实现访问时反向代理和数据服务节点的负载均衡。使用Docker容器技术将数据节点服务和Nginx服务进行统一部署,通过JupyterL...     

基于MatLab Web的中药滴制剂过程数据分析系统研究

针对应用传统数据分析软件对中药滴制剂过程进行分析的诸多不便,研究利用MatLab Web服务功能来构建Browser/Server模式的分布式数据分析系统,利用该系统进行分析可充分利用MatLab提供的强大运算能力和作图能力,并使不同部门间可进行协作分析.     

三维等离子体粒子模拟程序的数据模型和I/O性能改进

文章围绕强激光与等离子体相互作用三维数值模拟程序LARED-P数据输出存在的问题,给出了基于HDF5格式的数据模型,通过将计算结果进行重新组织和管理,实现了数据的实时压缩存储和高性能并行I/O,获得了较好的空间存储效率和时间效率,同时,程序提供了灵活的数据搜索机制,能够在程序运行过程中提取数据子集,满足了可视化系统准实时读入数据的需求。     

利用数据挖掘技术监测外汇公有账户资金流失

对于外汇公有账户上的资金流向个人账户的监测是外汇管理发现外逃资金的重要手段,但大量的交易使得人工监察困难重重。论文首先将频繁交易的个人账户聚类,然后对每个簇与公有账户之间的交易行为进行链接分析,从而发现可疑个人账户簇以及与之关联的公有账户。该方法能揭示公有账户到个人账户频繁的、大量的、隐蔽的外汇资金流动。     

基于 XML 的应用数据交换和存储系统研究

同一应用系统之间的数据交换在提高系统效率方面具有重要作用。XML的可扩展性、自描述性和适用于网络等特点为数据交换提供了新的思路。研究了同一应用系统在不同地域间数据交换,提出以XML文件为交换媒介,运用数据库作为数据交换中心并按照检索与不检索的要求分别存储XML文件的方法,详细介绍了数据交换和存储系统的各个模块的功能和工作流程。结合实例证明了方法具有很大的实用性。     

利用DTS实现异构数据库的数据交换

文中详细阐述了如何在应用程序中利用DTS(数据转换服务)技术在异构数据库系统间进行数据交换。并以VB开发工具为例，描述了其实现原理、方法和过程，对管理信息系统的开发和实施都有较高的实用价值。     

信息系统数据交换技术分析

数据交换是影响企业信息化管理发展的主要因素之一。它的目标是在异构环境(松散耦合、数据格式不同、跨平台、跨地域的分布环境)中实现数据的共享,从而有效地利用资源,提高整个信息系统的性能,加快信息系统之间的数据流通,实现数据的共享和集成。电力企业体系庞大,相关信息系统交互频繁,因此如何保证系统间的数据交换方便、快捷、安全、可靠执行,是电力企业信息部门的重要研究课题。本文以实现异构环境中数据交换为目标,详细分析论述了现有数据交换技术,并综合电力企业实际情况提出异构数据交换实现方案,对电力企业系统数据交换平台建设具有一定的参考价值。     

面向动态模糊数据的关系数据库系统的研究

为使关系数据库系统具备处理动态模糊数据的能力,将动态模糊理论和关系数据库理论相结合,通过分析面向动态模糊数据的关系数据库系统的功能,构造了该数据库的系统结构,探讨了实现该数据库的方法,对面向动态模糊数据的关系数据库系统做了初步的研究。     

一种基于XML的数据交换系统的设计和实现

近些年,电子政务中信息孤岛的问题得到了人们的广泛关注。用于解决这一问题的许多方法被提出来,其中基于XML的数据交换是一种比较常用的解决方法。但是,在具体的实施过程中,往往由于业务需求的不确定性,致使数据交换系统经常需要调整以满足这种要求。文中针对这一问题,提出了一种基于元数据和规则数据的数据交换系统的设计方案,并成功实施了这一方案,验证了系统的灵活性、实用性。     

利用链接分析技术监测可疑外汇资金流动

金融犯罪一般和账户的资金流动有着紧密的关系。本文利用聚类技术和链接分析技术,对外汇资金交易数据库进行分析。首先以账户间资金流动的频繁度为标准,对账户进行聚类;然后应用链接分析技术,从中发现可疑账户类,为发现外汇金融犯罪提供决策依据。     

数据交换系统中交换引擎的设计与实现

介绍了XML用于数据交换及XML Schema用于数据描述的优点，设计了一个适用于大型层次网络结构的数据交换体系。重点讨论了交换引擎和交换流程的设计，提出了一种将数据标准与请求应答标准相结合的交换方式，实现数据跨平台、跨系统、跨数据库的共享与交换。