数据仓库元数据管理研究

元数据是数据仓库的一个重要组成部分,该文介绍了数据仓库中元数据的概念与功能;分析了目前市场上存在的与元数据管理相关的工具;最后提出了利用模型管理的方法来对数据仓库系统中的元数据进行管理。     

数据仓库系统中的元数据管理

人们对数据分析的要求的不断提高导致了数据仓库的发展,而在建设数据仓库的过程中元数据管理起着至关重要的作用。详细而准确的元数据对于数据仓库的创建、数据加载、运行维护、清理脏数据等工作都必不可少。文章在对数据仓库系统中的元数据以及元数据管理进行全面分析的基础上,较为详细地介绍了笔者自行开发的数据仓库系统SEUwarehouse中的元数据及其管理的设计与实现。     

元数据在数据仓库中的应用及研究

数据仓库是数据库的发展方向之一,对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念,重点阐述了元数据在数据仓库系统中的作用、管理及维护,并就元数据库具体的实现方式进行了初步的研究和探讨。     

数据仓库元数据集成技术研究与应用

元数据集成是数据仓库元数据管理的一项重要内容。文章在目前元数据集成研究成果的基础上,提出了一种基于SOA架构的数据仓库元数据集成技术。该技术以Web Service技术为应用框架,以CWM为元数据模型,采用XML设计元数据封装器,实现了分布环境下数据仓库元数据的集成与重用。文章重点介绍了系统的体系构架,及CWM元数据模型的结构设计和不同Web Service方法设计和调用。最后,将该技术应用到消防工程领域的一个实际数据仓库项目中,验证了该技术的可行性、有效性、实用性。     

企业数据仓库中元数据集成体系结构的研究

随着数据仓库的数据质量问题越来越引起重视,更进一步让人们认识到了元数据管理的重要性。元数据集成体系结构是一个技术的、实现元数据管理策略的系统体系结构。在中国太平洋保险公司（CPIC）建设企业数据仓库（EDW）的项目背景下对企业数据仓库中的元数据集成体系结构作了研究。首先对三种元数据集成体系结构作了介绍,然后阐述了采用联邦体系的CPICEDW元数据集成规划,并用文档服务器作为全局元数据仓储的替代解决方案进行了元数据集成实施,最终阐明了现阶段企业数据仓库应该采用联邦元数据体系结构。     

数据仓库中元数据管理模型的研究

元数据管理是数据仓库的关键技术之一 ,是数据仓库中实现信息共享的主要解决途径之一。论述了数据仓库中元数据的定义、重要性、内容、管理模型及其解决方案和应用等 ,为数据仓库的元数据管理提供了可行有效的示范系统     

基于CWM的元数据管理系统中数据交换格式的研究

通用数据仓库元模型(CWM)是为数据仓库及商业智能环境间方便地交换元数据而制定的一个标准,可望成为未来数据仓库元数据管理的规范。它采用XMI作为元数据交换的基本格式。该文给出了一个基于CWM的元数据管理原型系统MMS的逻辑框架,并重点介绍了该系统的数据转换功能,其中给出了转换的形式化描述和几种元数据的XMI编码。     

一种双向元数据管理系统

作为企业级数据仓库的路径图,元数据在企业级数据仓库的建设中起着重要的作用。设计一个描述能力强、内容完善的元数据,是有效实现企业级数据仓库功能的重要环节。该文通过对双向体系元数据管理系统的研究,给出了一个企业级数据仓库的元数据管理的解决方案。该方案能够支持从企业级数据仓库子系统抽取元数据存储到元数据管理系统,同时也支持向数据仓库子系统提供其所需的元数据信息,解决诸多企业级数据仓库的运行管理问题,大大减少了企业级数据仓库的管理难度、保证了元数据的准确性、使得各子系统能高效地通信和稳定运行。     

基于XML技术的数据仓库多维数据模型

本文介绍了一种基于关系数据库、利用 XML技术实现多维数据模型方法 .首先讨论了在关系数据库之上构建数据仓库的系统结构 ,利用面向对象的技术构建一个逻辑多维数据模型 ,通过 XML 文档保存多维数据模型的元数据 .配合数据仓库的数据抽取工具、汇总工具可以实现数据仓库的基本功能 .对于实现关系数据库之上 OL AP和数据挖掘有一定的参考价值 .     

基于工作流引擎的数据仓库工具的构建

本文首先分析数据仓库的概念、特点及体系架构,指出了构建数据仓库ETL工具的必要性,接着对工作流和元数据技术进行介绍和分析,并在对数据仓库ETL工具分析的基础上,提出了构建基于工作流引擎和元数据驱动的数据仓库ETL工具的解决方案.     

基于XML的元数据管理框架研究

元数据在数据管理中占据着重要的地位.鉴于元数据的重要性,将其思想加以扩展并将其抽象为一个框架模型应用到开发中,重点讨论了实现该框架的关键技术.该框架中与工具相关的任何数据都以元数据的形式保存在元数据库,以元数据驱动任务操作,使得开发人员只需专心于设计相关工具所需的元数据及其样式,简化了设计过程,同时增强了系统的灵活性和可扩展性.     

数据仓库元数据管理研究

元数据管理是数据仓库技术研究的重点，该文首先对于数据仓库元数据管理的前提－元数据组成及分类进行了探讨，其次就数据仓库元数据管理系统应具备的功能进行了深入的研究，基于对元数据管理系统功能的研究，文章提出了一种邦联式的数据仓库元数据管理体系，同时给出了一种元数据库系统结构，指出了数据仓库元数据管理下一步研究工作的重点。     

Metadata for Managing Grid Resources in Data Mining Applications

The Grid is an infrastructure for resource sharing and coordinated use of those resources in dynamic heterogeneous distributed environments. The effective use of a Grid requires the definition of metadata for managing the heterogeneity of involved resources that include computers, data, network facilities, and software tools provided by different organizations. Metadata management becomes a key issue when complex applications, such as data-intensive simulations and data mining applications, are executed on a Grid. This paper discusses metadata models for heterogeneous resource management in Grid-based data mining applications. In particular, it discusses how resources are represented and managed in the Knowledge Grid, a framework for Grid-enabled distributed data mining. The paper illustrates how XML-based metadata is used to describe data mining tools, data sources, mining models, and execution plans, and how metadata is used for the design and execution of distributed knowledge discovery applications on Grids.     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进,提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system),缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明,副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统,有着较好的可靠性．     

基于元数据的COTS构件研究与实现

当前软件系统开发的一个新趋势是大量使用Commercial Off the Shelf简称为COTS构件产品,文章提出了基于元数据的COTS构件的概念,将构件中属性、行为、约束等以元数据的方式独立出来,而构件专注于实现元数据支持下的业务规则处理,这在一定程度上缓解了这种系统所存在的外部依赖性强、系统演化性不好的问题,最后给出了一个有关的应用实例。     

基于模型驱动元数据管理策略的研究

目前,元数据管理存在这样的问题,各开发商使用不同的元模型来设计自己的数据仓库工具,而且对元数据的描述往往不一致,这样给数据集成带来很大的问题。使用一种基于模型驱动的方式,将元数据描述规范化,并运用基于模型驱动的公共仓库模型CWM(Common Warehouse Metamodel)来实现这一过程。该模型可以充分发挥软件的复用性,使系统有良好的通用性,从而提高系统开发效率。     

基于CWM的元数据管理策略

对三种经典的元数据管理策略进行了分析和比较,总结了基于CWM的元数据管理策略的优势,对该策略给出了改进的元数据管理体系结构,解决了各软件产品或工具间的元数据的便捷交换问题,做到元数据存储、管理和交换的协调统一,重点讨论了其核心部分（元仓库）的设计与实现。     

元数据管理应用系统的设计与实现

针对元数据管理和使用过程中存在的问题,提出一种新的元数据管理应用系统,介绍系统架构和层次划分机制,通过JAXB技术和O／R映射框架实现基于XML文档元数据的存储管理,利用HQL查询语言访问和检索元数据记录,并利用MVC模式实现基于Web的元数据检索。实验结果表明,该设计方案有效可行。     

面向语义信息共享的元数据模型的研究与实现

元数据在国内依然是一个研究热点,本文面向基于语义的信息资源共享就如何利用人工智能领域内的本体(ontology)理论,建立用于描述信息资源语义及其之间关系的元数据模型进行了研究,并初步实现了基于元数据模型的信息资源元数据描述模版和描述工具原型.     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.