数据仓库中汇总表和数据立方体维护的研究

商务数据仓库系统中,数据分析人员对数据仓库的抽取查询越来越频繁。使用什么样的技术来提高数据仓库的查询速度以及维护数据仓库是一个重大技术问题。本文提出汇总delta表的概念,将数据的改变划分为增值和更新两个阶段,缩短了以往在更新数据时数据仓库锁定的时间,提高了查询效率。同时,通过数据立方体的构建,更直观的呈现出数据分析模型。     

RB+树——一种列存储数据的树型索引结构

索引技术是提高海量数据查询效率的关键技术之一.传统索引如B+树等在更新事务环境中具有较好的性能,然而在面向列存储的分析型数据仓库查询环境下,时间空间代价较大.根据列存储数据仓库查询环境的特点,提出一种新型树型索引--RB+树(reduced B+-tree).该索引对传统B+树结构进行了改进,并结合自底向上创建索引树的方法,使得索引的空间利用率、创建和查找效率得到显著的提高.进一步将RB+树应用于列存储数据仓库中,建立了行号索引、列值索引,特别地为解决星型模型中多表连接问题提出连接索引,有效地提高了列存储数据仓库中元组重构与多表连接的效率.在数据仓库基准数据集SSB上的实验验证了方法的有效性.     

用字典法压缩数据仓库数据方案

数据仓库中的数据量是呈几何级数增长的。数据量的急剧增长严重影响数据仓库系统的性能,降低数据库系统的查询效率。文章在分析数据仓库数据特性的基础上,提出了使用字典法压缩数据仓库数据的方案。在对数据进行压缩的同时,也极大地改善了数据库系统的性能。     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.     

实时数据仓库中支持QoS的更新和查询任务调度

实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.     

有效支持数据更新的XML索引研究

高效的索引是提高XML数据查询效率的关键,目前已经提出了许多XML索引算法,它们大多数都不支持XML数据更新。对CSSU编码进行了改进,提出了一种新的有效支持数据更新的路径索引算法,该索引算法有效支持单支查询和多支查询。     

大型数据仓库实现技术的研究

大型数据仓库是实现海量数据存储的有效途径，但在大型数据仓库的实现中存在很多问题。在分析问题的基础上，对大型数据仓库的实现问题提出了一定的解决策略，对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故障恢复、模式设计和查询优化的代价模型及元数据的定义和管理等作了研究。     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

基于动态镜像的实时数据仓库存取处理技术

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率,本文提出一种动态镜像技术,该技术在数据仓库外部构建动态存储区域;同时,本文对传统ETL技术进行了改进。基于TPC-H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示,实时查询效率提高了50%,平均查询精度达到93%。     

数据仓库中实现图的建立与维护

数据仓库技术是分布式异构数据库系统集成的一种较为先进的解决方法,实视图是数据仓库中存储的主要信息实体。实视图不仅是数据仓库中的数据的基本组织方式,而且采用实现图来定义和存储一些经过抽取及综合计算的数据,将有利于提高数据仓库的查询性能。实视图的建立和更新维护是其实现的主要技术问题,本文提出的实现图增量维护法和实现图版本链控制法,可以较好地满足不同种类实视图的实时更新维护。     

蛋白质组学元数据仓库的管理与维护

在针对生物数据源具有的分布、异构和动态等特性下,建立的蛋白质组学元数据仓库的基础上,本文给出了删除元数据的方法,以及解决了由于删除元数据和生物数据源更新而带来的元仓库中元数据的变化,而引起的用户模式与元数据的映射不匹配等问题。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

一种基于税务系统数据仓库的模糊数据挖掘算法的研究

文章简要的叙述了数据仓库的概念、数据仓库结构、数据挖掘的定义和方法,并提出了一般的基于数据仓库的数据挖掘系统的结构。并针对税务系统的数据仓库提出了一种模糊数据挖掘算法。     

企业数据仓库多维数据模型的建立

数据仓库是一种新的数据管理技术,能将企业内分散的原始操作型数据和来自外部的数据汇集和整理,为企业提供完整、及时和准确的决策信息。构建数据仓库系统的核心问题是如何建立复杂的企业数据模型。商务数据的本质是多维的,传统的ER模型已无法满足要求,而多维数据建模技术从维度、层次建模的角度有效地弥补了传统数据模型的不足。文章以多维数据建模技术为中心通过实例讨论了数据仓库中数据模型的一般建立方法,为解决构建企业信息系统提供了一种切实可行的方案。     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

面向对象的数据仓库设计

介绍了数据仓库技术的概念和内容,研究了运用面向对象技术建立数据仓库系统的关键技术。给出了通过面向对象技术,并结合UML进行数据仓库模型设计的方法。在进行数据仓库设计的过程中,通过将对象、对象的成员以及对象间关系映射到实体、实体的属性以及实体间关系的方式进行了数据仓库设计,实现了对象分析与数据仓库设计在面向对象体系上的一致。     

基于空间数据仓库的数据采掘

文章介绍了数据采掘技术的定义、数据采掘的过程和主要技术手段以及空间数据仓库的定义、基本结构框架、处理流程和技术支持,分析了基于空间数据仓库的数据采掘特点.     

数据挖掘技术在高速铁路SCADA中的应用研究

分析了高速铁路牵引供电SCADA系统的特点,及当前SCADA系统的不足,提出了用数据挖掘技术分析和预测变电所设备故障,改善系统的综合性能.以高速铁路牵引供电SCADA系统现有功能为基础,给出了挖掘过程的总体设计,并对其中的关键步骤,如SCADA挖掘库的建立和更新、挖掘算法的选取与改进、模型的训练与评估作了阐述.     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案