面向SaaS应用基于键值对模式的多租户索引研究

面向SaaS应用的多租户数据库为满足租户的数据隔离和按需定制的需求,需要提供支持隔离和易于定制的数据存储机制及索引机制.基于键值对存储方式,提出元数据驱动的映射表索引模型,该模型根据租户定制需求,为租户业务数据形成各自的索引元数据,通过元数据驱动实现了索引数据的隔离及定制效果;给出索引的维护策略,根据租户数据访问请求进行索引切片,以逐渐细化的索引切片作为数据访问的基本单位,快速返回租户结果集.实验结果表明,该方案在数据访问分布均衡的情况下,使索引维护及数据访问具有较好的总体性能.     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

虚拟数据中心的数据映射与数据路由策略研究

数据中心基础数据积累通常使用三种手段:1)ETL技术;2)数据联邦技术;3)中间件技术.但三种技术侧重各有不同,不能同时满足数据集成的持久性与可用性.结合技术优势提出数据虚拟整合,为解决数据虚拟异构数据模型间的数据转换问题,通过对数据虚拟的分析,提出了一种基于元数据驱动的数据虚拟系统体系结构.构建了用于描述和存储映射策略的支撑元模型,并建立了相应数据路由策略.提出了对等主键思想,降低了处理阻抗.     

基于ETL的金融数据集成过程模型

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型.对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程.利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题.通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性.     

一种新型的面向信息化应用的数据元支撑元模型

在对数据元相关理论进行深入研究的基础上,并结合大型企业信息化中数据标准的实际,提出了数据元概念、基本数据元、应用数据元以及与之分类模式间关系的支撑数据元构建的核心元模型,并定义了数据元的生成算法。这一模型对于企业信息化中的元数据的分析与规范具有指导与借鉴意义。     

基于XML和JMS的异构数据交换集成的研究

随着企业信息化不断深入，对于异构数据集成的要求越来越迫切。为此提出了一种异构数据交换集成的模型。首先构造异构数据库的元数据的模式XML Schema，并建立元数据与XML Schema间的映射，将异构数据表示成XML形式，使用JMS技术完成系统间XML的传输，再根据本地数据库的元数据与XML Schema的映射将XML中的数据转化为本地数据库可用数据，从而较好地解决了异构数据集成和交换的问题。     

基于XML和JMS的异构数据交换集成的研究

随着企业信息化不断深入,对于异构数据集成的要求越来越迫切。为此提出了一种异构数据交换集成的模型。首先构造异构数据库的元数据的模式XML Schema,并建立元数据与XML Schema间的映射,将异构数据表示成XML形式,使用JMS技术完成系统间XML的传输,再根据本地数据库的元数据与XML Schema的映射将XML中的数据转化为本地数据库可用数据,从而较好地解决了异构数据集成和交换的问题。     

使用ODBC API技术进行数据转换

本文主要对应用ODBC API技术进行数据转换进行论述,首先讨论进行数据库访问的步骤,然后讨论了使用该技术进行数据转换的关键是先读取数据源的元数据再对转换的数据类型进行对应最后对在数据转换过程中遇到的冲突及处理方法进行讨论。     

Web资源质量元数据度量方法研究

该文针对web信息资源描述现状,将web资源／4-8息质量评测模型WebQM理解为web资源质量元数据模型。按照都柏林核心元数据集DC规范,使用DC元数据对网络资源进行描述,将质量元模型中质量评价准则映射为相对应的质量元数据。并讨论了如何使用质量元数据对质量准则进行度量。     

基于领域元模型的PLM-ERP数据集成研究

分析了现有PLM-ERP数据集成方法,提出了一种基于领域元模型的集成PLM-ERP数据的方法.通过领域元模型描述PLM-ERP系统间的元数据映射信息和集成业务规则.领域元模型经过解析和验证后,执行异构数据转换,可以实现PLM-ERP系统交换和共享数据.领域元模型集成方法具有可重用性,减少PLM-ERP数据集成开发工作量,低耦合性、通用性的特点.     

一种基于元数据仓库的元数据管理模型设计

元数据是数据仓库环境的一个重要组成部分。本文简述元数据的基本概念,回顾元数据管理的发展历史,重点讨论数据仓库元数据管理知识库技术以及CWM公共仓库元模型。针对元数据的变更管理是数据仓库元数据管理中最容易忽略的问题,本文提出一种基于数据仓库元数据管理系统的元数据管理模型。跟踪每一个数据元素的生命周期,分析数据源变更时对数据仓库的影响,支持当前数据与历史数据的合并,减少了元数据提取转换和加载的开销。     

开放数据的元数据映射技术途径

在分析目前主要开放数据元数据标准规范文本的基础上, 整合几种常用元数据标准规范描述的开放数据,构建开放数据核心元数据字段映射表, 为跨平台开放数据共享提供一种解决途径. 通过提取元数据映射所需的指标字段, 并分别用JSON和XML格式表达映射数据. 采用开放数据元数据映射, 将不同元数据标准描述的开放数据纳入到同一个框架中. 文中展示的映射机制可以有效地实现不同平台上的开放数据资源的互联互通, 提升开放数据共享程度.     

蛋白质组学元数据仓库的管理与维护

在针对生物数据源具有的分布、异构和动态等特性下,建立的蛋白质组学元数据仓库的基础上,本文给出了删除元数据的方法,以及解决了由于删除元数据和生物数据源更新而带来的元仓库中元数据的变化,而引起的用户模式与元数据的映射不匹配等问题。     

基于语义的轻量级数据集成方法

为解决现有数据集成方法的集成成本过高、缺乏语义信息等问题,对带有语义信息的轻量级数据集成方法开展研究.对本体、元数据等相关理论进行概述,给出了一种基于语义的轻量级数据集成方法,并详细分析了其中的两个主要过程:本体的识别和元数据的抽取、本体映射和基于本体映射的元数据集成,并进行了实例分析.分析结果表明,所给方法切实可行,用元数据集成替代数据集成能够避免大量数据的移动和存储,有效降低数据集成的成本,使数据集成过程轻量化,同时,语义信息的融入能够更好地为上层应用提供支持.     

测绘元数据的框架设计和基于RDF/XML的表达

论述元数据技术在测绘信息共享和管理中的重要作用,分析当前测绘元数据库建设的现状,指出研究测绘元数据表达的重要意义。根据测绘数据的组织结构特点,设计测绘元数据框架,提出利用RDF／XML技术表达测绘元数据的思想。最后总结利用RDF表达测绘元数据的优点。     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。