ROARS: a robust object archival system for data intensive scientific computing

As scientific research becomes more data intensive, there is an increasing need for scalable, reliable, and high performance storage systems. Such data repositories must provide both data archival services and rich metadata, and cleanly integrate with large scale computing resources. ROARS is a hybrid approach to distributed storage that provides both large, robust, scalable storage and efficient rich metadata queries for scientific applications. In this paper, we present the design and implementation of ROARS, focusing primarily on the challenge of maintaining data integrity across long time scales. We evaluate the performance of ROARS on a storage cluster, comparing to the Hadoop distributed file system and a centralized file server. We observe that ROARS has read and write performance that scales with the number of storage nodes, and integrity checking that scales with the size of the largest node. We demonstrate the ability of ROARS to function correctly through multiple system failures and reconfigurations. ROARS has been in production use for over three years as the primary data repository for a biometrics research lab at the University of Notre Dame.     

智慧档案馆背景下安徽省气象档案业务系统

为满足气象档案的管理和服务需求,设计开发了安徽省气象档案业务系统并投入业务使用.该文描述了智慧档案馆建设背景下系统基本设计思路、功能结构、基础平台体系结构和信息流程.系统由数据收集、档案整理、档案保管、档案利用和档案鉴定5个业务子系统组成,采取的主要关键技术包括气象档案标准化体系、气象档案元数据、知识图谱和物联网技术.系统的设计和实现亦在为行业档案业务系统的开发和建设提供一种借鉴.     

企业档案信息化标准规范研究情况综述

档案信息化标准是企业信息化标准的一个组成部分,文章从企业档案信息化标准规范和企业档案信息化中的数据标准两个方面对企业档案信息化标准研究情况进行了概述,强调企业档案信息化标准应当采用新技术,使得在信息技术持续快速更新和数字对象机器元数据的存储量不断扩大的条件下能够保证数据资源的长久保存,预测和考虑未来技术的创新趋势,使当前的标准和规范能适用十年以后的发展。     

元数据管理系统的设计与实现

大规模并行数值模拟程序通常会被运行十几次甚至上百次,每次运行都会输出几十、上百、甚至上千时间步的数据,每个时间步会产生几十、上百、甚至上千个数据文件.传统的数据管理方法是使用记事本记录数值模拟结果相关的元数据信息,这种方法的缺点是大量的信息需要手工录入,同时也不方便数据查询和共享.元数据管理系统的设计目标是通过自动提取元数据来减少需要录入的元数据信息,通过集成管理与结果数据相关的各种数据来方便数据查询与共享.该系统包含5个组成部分:层次化自描述通用数据存储模型、科学计算元数据、元数据自动提取、对象数据库系统、Web界面元数据管理系统.通过用户试用,验证了元数据管理系统实现了预期的目标.     

云环境下元数据弹性分级一致性保障机制研究 *

云存储环境下,元数据提供数据定位与资源描述服务,云存储系统利用副本技术保障元数据的可用性。为了解决元数据的动态更新导致的元数据副本的不一致,本文从云存储系统中不同元数据对一致性强度需求的差异性出发,提出了基于元数据弹性分级的一致性保障机制。根据元数据访问频率以及更新属性敏感度对元数据更新弹性分级,结合基于读优化的Quorum算法实现元数据更新的分级一致性保障。实验证明该机制可以有效权衡元数据副本可用性、一致性和系统开销,相比单一的一致性策略更为灵活。     

基于OBS的分布并行海量地形数据服务系统

海量地形数据的存储与管理是大规模地形实时漫游系统的关键。该文提出一种基于对象存储的分布式并行地形数据服务系统(DPTSS),采用自治的存储对象存储和管理地形块数据,实现了控制路径和数据路径分离。通过元数据集群提供高效率和高可用的元数据服务,以及基于对象的存储集群实现并行的地形数据块传输服务,提供高吞吐率和高带宽的地形数据服务。对比实验表明,DPTSS在较低的TCO情况下能提供高性能的地形数据服务。     

数值模拟网格数据模型设计与实现

在等离子体动力学、电磁学理论等物理问题的数值模拟中,各类数值模拟程序产生了大量复杂结构的科学数据.一方面,计算程序需要以高效率的I/O方式存储数据,另一方面,数据需要在各类程序间很容易地交换与共享.随着数据的规模与复杂度不断增加,传统数据管理方式的局限性日益突出.为此,设计了面向计算物理领域的数据存储模型--数值模拟网格数据模型(JAD),引入元数据管理机制,对数值模拟程序数据对象进行抽象与封装,在HDF5软件库基础上实现了高层I/O函数库(JADLib),集成先进的数据存储技术,提供直观、易用的应用程序编程接口(API),使得数值模拟数据以统一格式高效率地存储.目前,JADLib已推广应用于高功率微波、惯性约束聚变等领域多个数值模拟程序中,与元数据管理系统(JADIS)、并行可视化系统(JaVis)建立了耦合,使得用户可以直接利用这些系统进行数据的浏览、分析及可视化,促进了应用程序间的数据共享.     

The spectral database SPECCHIO for improved long-term usability and data sharing

The organised storage of spectral data described by metadata is important for long-term use and data sharing with other scientists. Metadata describing the sampling environment, geometry and measurement process serves to evaluate the suitability of existing data sets for new applications. There is a need for spectral databases that serve as repositories for spectral field campaign and reference signatures, including appropriate metadata parameters. Such systems must be (a) highly automated in order to encourage users entering their spectral data collections and (b) provide flexible data retrieval mechanisms based on subspace projections in metadata spaces.The recently redesigned SPECCHIO system stores spectral and metadata in a relational database based on a non-redundant data model and offers efficient data import, automated metadata generation, editing and retrieval via a Java application.RSL is disseminating the database and software to the remote sensing community in order to foster the use and further development of spectral databases.     

基于SSD的机群文件系统元数据存储系统

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.     

基于数据挖掘的文件元数据预取探究

在文件存储系统中,文件系统整体性能的提升对于保证文件的安全性和可靠性具有重要意义,而在此过程中,元数据访问性能与文件系统性能有密切关系,要想进一步满足大规模文件存储系统需要,就必须建立相应的文件元数据预取模型。本文通过对基于数据挖掘的文件元数据预取进行分析,以期满足文件数据的大量存取访问需求。     

开放式安全存储区域网模拟平台

模拟系统是研究与测试系统功能的重要方法,分析了现有存储区域网模拟系统,针对测试各类应用于保护存储区域网系统的安全机制,设计了开放式安全存储区域网模拟平台.使用线程模拟存储区域网系统中的主机、元数据服务器和存储设备,使用缓冲区模拟存储区域网系统中的通信,实现了接收访问请求和主机模块,构建了元数据和存储设备模块的框架,提供了实现元数据管理和存储设备中数据管理功能的功能接口,能模拟存储区域网的各项功能;在元数据和存储设备模块中提供了增加安全保护机制的安全接口,通过实现的不同安全保护机制,能模拟各类安全存储区域网系统,从而为测试各类应用于保护存储区域网系统的安全机制提供良好的平台;最后在元数据和存储设备模块中,通过功能接口实现了基本的元数据管理和存储设备中的数据管理功能,测试系统是否能正确地处理访问请求,完成存储区域网的功能.测试结果表明:开放式安全存储区域网模拟平台能模拟存储区域网处理访问请求的流程,为测试各类应用于保护存储区域网系统的安全机制提供了良好的基础.     

蓝鲸分布式文件系统的分布式分层资源管理模型

为了高效地管理海量分布式存储资源,蓝鲸分布式文件系统抛弃了传统的集中式资源管理方式。实现了分布式分层资源管理模型．该模型可以管理多个存储服务器,还能支持多个元数据服务器组成的集群进行分布式元数据处理,支持各种元数据和数据的负载平衡策略．同时,该模型中的带外数据传输功能克服了系统的性能瓶颈。提高了系统支持并发访问的能力．理论分析和实际测试结果都表明此模型能够满足多种不同的需求,提供很好的性能和良好的扩展性．     

内容与结构相结合的科学元数据相似度计算

为更加精确的计算科学数据共享工程中科学元数据间的相似度,提出了一种内容与结构相结合的科学元数据相似度计算方法。在综合分析各个领域元数据特点的基础上,把科学元数据相似度的计算分为两个方面:内容相似度和结构相似度。其中内容相似度基于改进的向量空间模型计算而得,结构相似度包含元数据树的节点相似度和层次相似度两个方面,两者叠加计算出相似度值,并通过实验证明了该方法具有更高的准确性和有效性。     

去中心化的分布式存储模型

分布式数据存储过程中的元数据保存在中心节点上,容易造成单点故障和易被恶意修改,安全性较差。虽然,通过引入备份节点可以一定程度上避免该问题,但节点之间的同步和切换效率较低。同时,存储元数据的节点可以达成共识修改元数据,缺乏可信性。针对传统分布式存储中存在的问题,结合区块链的特点,提出一种去中心化的分布式存储模型DMB（Decentralized Metadata Blockchain）,通过将元数据保存在区块中、冗余存储区块链、协作验证来保证元数据的完整性。模型分为两个阶段,即元数据存储阶段和元数据验证阶段。在元数据存储阶段,将用户的签名和副本位置数据发送给若干验证节点,生成元数据区块并写入元数据区块链中。在元数据验证阶段,验证节点首先检查本地元数据区块链的状态和全局状态是否相同,如果不相同则进行状态同步。然后,检索本地元数据区块链来验证元数据完整性。理论与实验结果表明,DMB模型可以保证元数据的可追溯性和完整性,有较好的并发处理能力,对数据存储的效率影响较小。     

Automatic geospatial metadata generation for earth science virtual data products

Recent advances in Semantic Web and Web Service technologies has shown promise for automatically deriving geospatial information and knowledge from Earth science data distributed over the Web. In a service-oriented environment, the data, information, and knowledge are often consumed or produced by complex, distributed geoscientific workflows or service chains. In order for the chaining results to be consumable, sufficient metadata for data products to be delivered by service chains must be provided. This paper proposes automatic generation of geospatial metadata for Earth science virtual data products. A virtual data product is represented using process models, and can be materialized on demand by dynamically binding and chaining archived data and services, as opposed to requiring that Earth science data products be physically archived. Semantics-enabled geospatial metadata is generated, validated, and propagated during the materialization of a virtual data product. The generated metadata not only provides a context in which end-users can interpret data products before intensive execution of service chains, but also assures semantic consistency of the service chains.     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进，提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system)，缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明，副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统，有着较好的可靠性．     

基于闪存的星载存储数据管理研究

由于闪存介质在航空航天数据存储中的优势,逐渐成为DRAM、SDRAM之后的下一代卫星存储解决方案。但由于闪存的存储特性,目前缺乏对数据存储的有效管理,星载闪存文件系统面临诸多有待研究的问题。通过分析星载环境下卫星存储特征,给出星载环境下的数据管理需求,并实验模拟发现在 IOPS（每秒进行读写的次数）、元数据、吞吐量、随机寻址四种性能指标上,F2FS优于BTRFS、exFAT、NILFS这三种类闪存文件系统;结合具体测试,分析了闪存内部并行对于文件系统的影响。论证得到F2FS较适合对基于闪存的星载存储进行数据管理,并结合数据管理需求提出了适用于星载环境下的几点改进方案,为星载环境下闪存文件系统设计和实现提供了研究基础。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。