一种基于XML的数据转换方法的设计与实现

交互式电子技术手册是综合保障领域的一次技术革命,在分析非结构化数据和结构化数据分类的基础上,采取"非结构化数据-XML-结构化数据"的转换方式,将非结构化技术资料的元数据信息转换为可存储在公共源数据库(CSDB)中的结构化数据,为IETM数据录入问题提供解决方法。     

非结构化信息管理

随着信息的发展,出现了越来越多的非结构化信息。并且非结构化信息在政府和企业等的决策中占有重要的位置。如何将非结构化数据有效的管理起来,能够进行数据和知识挖掘,提取当中的隐含信息,对决策进行支持成为当今亟待解决的主要问题。本文介绍了几种非结构化信息管理方式,并对未来非结构化信息管理方式进行探讨。     

一种基于特征的非结构化数据演化管理建模框架

信息技术的快速发展促使非结构化数据管理成为一个重要的问题.非结构化数据的主要特点是数量巨大和模式滞后.传统的关系数据管理系统在处理非结构化数据上难以提出有效的解决方案.从"现实的数据总是包含着诸多特征(feature)观点出发,提出了"数据-特征模型",建立特征,特征空间以及数据类型等概念.在此基础上提出了基于特征的非结构化数据演化管理建模框架.同时简述了非结构化数据管理原型系统MYUSD的结构.     

MyBUD自适应分布式存储管理的设计与实现

面对日益增长的非结构化数据管理需求,实现了基于"自由表"数据模型和BUD(bank of unstructured data)参考体系模型的非结构化数据管理平台MyBUD系统。提出了一种能够根据非结构化数据的类型和访问特点自适应地选择分布式存储子系统的方法,同时也对MyBUD进行了TPCC测试和非结构化数据存取实验。结果表明,这种自适应的数据存储方法为MyBUD系统提供了高效的可扩展存储层,为采用数据库方法实现对结构化和非结构化数据统一管理的进一步研究工作奠定了基础。     

基于非结构化数据的语义建模及优化

非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有提升企业管理水平的大量重要信息.非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一.文章从非结构化数据和结构化数据的特点、可行性分析,以及对非结构化数据的重要模块语义分析建模及其优化从而高校提炼出结构化信息几个方面来讲述非结构数据的特点.从而为企业解决非结构化数据的集中存储、有效利用等技术难题,提高企业的管理.     

面向云存储的非结构化数据存储研究

作为一种先进计算方式的云计算,不断在信息服务与科研领域升温,并且影响了存储和运算大规模数据。本文主要分析了云存储技术,非结构化数据存储方式,面向云存储的非结构化数据存储系统架构,面向云存储的非结构化数据存储结构设计和实现。     

基于元数据的油气信息管理系统

非结构化数据在信息总量中所占的比例远大于结构化数据,是油气信息管理过程中的宝贵数据资产,如何对这些非结构化数据有效管理和应用是新型油气信息管理系统建设的重要内容之一。为了实现对油气信息资源中包括非结构化数据在内的综合数据高效管理与集成应用,从应用元数据技术角度,一方面对非结构化数据进行定义和详细描述,另一方面以数据库元数据为核心对系统框架进行构建,从而设计了一种新型的油气信息管理系统。系统实现了油气信息综合数据的存储与管理,而且可以对异构数据源进行有效集成应用,有良好的灵活性和扩展性。     

用XML在Word文档表格中转换非结构化数据

非结构化数据广泛存在于各种应用系统中,对非结构化数据进行管理以及通过转换成为结构化数据是非常重要的.XML语言非常适合用于数据存储与数据交换.本文使用Microsoft visual Studio 2005开发了基于XML的非结构化数据转换工具.该工具可以把Microsoft word表格中的文本数据转换成可以导入到数据库中的纯文本数据文件.使用该工具,可以完成类似的非结构化数据的转换工作.     

面向云存储的非结构化数据存储研究

云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能[1].非机构化数据包括文本、图像、音频、视频、PDF、电子表格等.非结构化数据的存储通常有两种方式,一种是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中;另一种是将这些数据存储在传统的数据库表的大对象字段中.文章主要研究非结构化数据的存储方式,结合非结构化数据的特点,云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性.     

基于XML的非结构化文本数据转换研究与实现

采用XML作为存储数据的中间过程,通过两次调用Java程序,使非结构化的数据结构化因为XML作为一种半结构化的语言,适合数据存储与数据转换 而Java程序可以让基于XML的非结构化数据转换成结构化的数据,使其完全的结构化.使用该Java程序,可以完成类似的非结构化数据的转换工作.     

非结构化数据存储管理的实用化方法

针对目前广泛采用的非结构化数据文件与其属性数据分开存储的机制中的不安全性问题,本文从实用化角度给出一个“监控”策略和实现方法,通过软件实现可以约束非法的或意外的对非结构化数据源文件的破坏,并且保证了源文件与其在数据库中的索引的一致性。     

用于自由飞行冲突探测的Delaunay方法

简要介绍了Delaunay方法,这是广泛用于计算流体力学中的非结构网格生成方法之一。为便于实际应用,本文将自由飞行条件进行了合理的简化,然后详细论述了Delaunay方法用于冲突探测的数据处理过程。该方法能同时探测多架飞机之间发生的冲突和潜在冲突,减少不必要的距离探测,从而减少了计算量。最后通过对空域内的若干架飞机的飞行进行仿真模拟,证明了该方法进行冲突探测的有效性。     

基于数据湖的高校大数据管理体系和处理机制研究

针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题,通过比较新兴的数据湖技术和传统的数据仓库的区别,构建了基于数据湖的高校数据管理体系和数据处理机制,为高校的数据治理提供了数据层的存储支持,为使用机器学习方法进行大数据分析提供了非结构化数据来源。     

D-Ocean: an unstructured data management system for data ocean environment

Together with the big datamovement,many organizations collect their own big data and build distinctive applications. In order to provide smart services upon big data, massive variable data should be well linked and organized to form Data Ocean, which specially emphasizes the deep exploration of the relationships among unstructured data to support smart services. Currently, almost all of these applications have to deal with unstructured data by integrating various analysis and search techniques upon massive storage and processing infrastructure at the application level, which greatly increase the difficulty and cost of application development.This paper presents D-Ocean, an unstructured data management system for data ocean environment. D-Ocean has an open and scalable architecture, which consists of a core platform, pluggable components and auxiliary tools. It exploits a unified storage framework to store data in different kinds of data stores, integrates batch and incremental processing mechanisms to process unstructured data, and provides a combined search engine to conduct compound queries. Furthermore, a so-called RAISE process modeling is proposed to support the whole process of Repository, Analysis, Index, Search and Environment modeling, which can greatly simplify application development. The experiments and use cases in production demonstrate the efficiency and usability of D-Ocean.     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

A novel clustered MongoDB-based storage system for unstructured data with high availability

More and more unstructured data are produced and consumed over network. How to maintain these data and improve the availability and scalability of the storage systems has become a considerable challenge. Although some NoSQL systems such as Dynamo, Cassandra, MongoDB have provided different advantages for unstructured data management, no one can provide flexible query functions like MongoDB, meanwhile guarantee the availability and scalability as Cassandra simultaneously. This paper presents a new high available distributed storage system called MyStore based on an optimized clustered MongoDB for unstructured data. Consistent hash is used to distribute data on multiple MongoDB nodes by applying virtual node method. NWR mode is applied to provide automatic backup operation and guarantee data consistency. And a gossip protocol is taken for exchanging information of failures in the system. Moreover, a user-friendly interface module and an efficient cache module are designed for improving the usability of the system. Based on above strategies, the system can realize high availability for unstructured data storage, while providing complex query functions like rational databases. Moreover, it is applied in a multi-discipline virtual experiment platform named VeePalms that has run practically. Experimental evaluation shows that the methodology is powerful enough not only to enhance the data availability, but also to improve the server’s scalability.     

一种基于本体的异构数据语义抽取方法

针对领域科学数据异构多样、缺乏语义的问题,本文提出一种基于本体的异构数据语义抽取方法。首先,构建领域科学数据的语义抽取框架,并在此基础上分别针对结构化、半结构化以及非结构化数据制定相应的语义转换与抽取规则,形成局部领域本体;然后,通过异构数据间的关联映射,构建领域数据的全局本体,实现异构数据的有效组织与统一管理;最后,将相关方法应用到材料领域,为材料科学数据的有效管理与共享服务提供支撑。     

PandaDB: Intelligent Management System for Heterogeneous Data

With the development of big data application, the demand of large-scale structured/unstructured data fusion management and analysis is becoming increasingly prominent. However, the differences in management, process, retrieval of structured/unstructured data brings challenges for fusion management and analysis. This study proposes an extended property graph model for heterogeneous data fusion management and semantic computing, and defines related property operators and query syntax. Based on the intelligent property graph model, this study implements PandaDB, an intelligent fusion management system for heterogeneous data. This study depicts the architecture, storage mechanism, query mechanism, property co-storage, AI algorithm scheduling, and distributed architecture of PandaDB. Test experiments and cases show that the co-storage mechanism and distributed architecture of PandaDB have good performance acceleration effects, and can be applied in some scenarios of fusion data intelligent management such as entity disambiguation of academic knowledge graph.