基于动态镜像的实时数据仓库存取预处理技术研究

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(Fly-Weight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。     

联机分析在公共财政管理中的应用

本文提出利用联机分析技术将公共财政以及实时数据仓库中的业务数据集成,来建立公共财政管理系统。决策者通过OLAP实现多维数据分析,对数据仓库中的数据进行查询和在线分析,快速发现数据之间的规律;利用数据挖掘工具对数据仓库中的数据进一步发掘出有用的知识;甩决策模型库来实现多个广义模型进行组合辅助决策,更加有效地、实时地决策分析。     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.     

基于动态镜像的实时数据仓库存取处理技术

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率,本文提出一种动态镜像技术,该技术在数据仓库外部构建动态存储区域;同时,本文对传统ETL技术进行了改进。基于TPC-H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示,实时查询效率提高了50%,平均查询精度达到93%。     

增量ETL过程中对删除数据实现装载的设计

使用ETL过程将数据源数据装载到数据仓库,大多数时候是向数据仓库中追加数据,但有时也需要删除一些数据,以维持数据仓库中数据的正确性.文章结合Oracle ETL工具的装载特点提出了一种对增量数据进行预处理的方法,以实现有删除数据的ETL装载,并给出了具体的设计.     

基于电信行业的ETL系统的设计与实现

基于电信行业的数据仓库,对其数据抽取、数据转换和数据装载的实现方法进行了探讨,这些方法对其他行业数据仓库的构建具有 借鉴作用。     

基于X3D的数据仓库与挖掘前端展示技术

论文讨论了将虚拟现实作为数据仓库与挖掘前端展示技术的实现方法,通过引入网络3D标准X3D,实现数据仓库与挖掘的三维展示并提供易于操作的实时交互;考虑到Web多维分析和查询等因素,提出了一种基于网络虚拟现实的数据仓库与挖掘的前端展示技术架构以及应用服务构造,并给出了一个实现示例。     

数据仓库中的一种立方体数据模型

数据仓库和联机分析处理(OLAP)是商业数据处理领域中的两个最重大的新技术。OLAP应用要求对数据仓库中存储的大量数据进行分析,用标准关系数据库技术来实现非常复杂的查询是相当困难的。所以,在数据仓库中,数据被组织成立方体数据模型。该文提出了一种简单、直观的数据立方体模型以及在这个立方体上支持OLAP操作的代数。为复杂的查询提供了简要的表述方法。     

一类近似查询提纲的小波方法的应用研究

在数据仓库以及联机分析处理等许多领域中，聚集数据的处理是一个非常重要的核心问题。本文分析了聚集数据查询的特点，引入了基于聚集数据的近似查询计算模型，并针对该计算模型的提纲构建问题，给出了一类近似查询提纲的Haar小波方法，来实现对聚集数据和聚集视图的快速查询计算。     

Access与MCGS在主井装载系统中的应用

针对煤矿主井装载系统中数据资料繁杂、参考价值高等特点,介绍了一种Access数据库结合MCGS组态软件在主井装载系统中的应用方法。该方法通过Access 2003链接MCGS存盘数据表,设置查询方式、查询报表、查询窗体,最后在MCGS中调用内部函数!Shell()实现与Access数据库的挂接,完成各种数据查询和统计任务,实现了煤炭装载量等各项数据的多种查询功能,为煤矿分析管理煤炭生产情况提供了依据。     

基于Multi-Agent的主动实时数据仓库研究

传统的数据仓库不能提供实时查询,并且当前的主动实时数据仓库在实时性方面和分布式环境下存在许多不足,针对当前主动实时数据仓库存在的不足,提出基于Multi-Agent的主动实时数据仓库的基本框架,一方面借助了Agent的基本特性提高了数据仓库的主动性和实时性,另一方面采用方案Agent和集成Agent解决了分布式环境下数据仓库集成问题。     

基于索引视图实现动态数据仓库的实时数据加载

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的“动态”特性的关键又在于实现“动态数据获取”,即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。     

基于多Agent的主动数据仓库的研究

传统的数据仓库只能分析历史数据且数据抽取周期过长,极大地降低了企业的应变能力。实时数据仓库的出现改变了这个局面。以此为基础的基于多Agent系统的四层数据仓库体系结构(MART-DW),一方面提高了数据仓库的主动性和实时性,另一方面也增强了系统的伸缩性,能够更加有效地管理分布式集成环境。     

ERP环境下的数据仓库系统研究

ERP环境下的数据仓库不仅要满足传统数据仓库对OLAP的支持,还要满足用户对常规事务的实时、主动决策。文章提出了一种ERP环境下的零等待数据仓库系统结构,利用多Agent系统的交互性和协作性等特点实现了数据仓库系统中连续数据集成和主动决策的功能。     

基于SAP数据仓库和WebGIS的高校电力分析集成平台研究

为了充分利用信息化后的高校后勤部门电力历史数据,且将历史分析数据与实时数据更方便地呈现给需要的用户,提出基于数据仓库与WebGIS系统的电力分析集成平台.通过SAP数据仓库数据提供的常规和实时的数据处理接口,WebGIS系统的WebService功能模块以及XMLA接口技术,完成了在高校各种角色用户都可以访问的WebGIS系统平台上实现结合建筑的电力多维分析和实时电力展现集成平台.     

可扩展的事件消息自动化处理方案

在实时数据仓库中,获取实时业务数据后,实时或及时的事件处理和决策自动化对实时数据仓库来说至关重要。该文针对仓库系统资源竞争问题,采用消息队列和改进的主动规则技术,提出一套可靠、可扩展并能解决系统负载平衡的异步事件驱动自动化处理方案,同时给出了一套使用高级队列中间件和J2EE技术的实践参考方案,实验结果证明该方案可行。     

异地容灾系统和数据仓库中数据同步的设计及其关键技术实现

以异地容灾系统和数据仓库需要实时同步生产系统的数据为背景,介绍了一个异地容灾系统和数据仓库中数据同步软件的功能模型;对两个系统中数据同步的设计和体系结构作了介绍,并阐述了该数据同步软件所采用的Oracle高级复制技术.     

基于ZigBee的仓库监控系统设计

为了对大型仓库的温湿度、光照、火警和安全情况进行监控,采用无线传感器网络,设计了一种基于ZigBee CC2530的多点数据采集、传输和处理的实时监控系统。该系统首先组成了ZigBee星形网络和ZigBee树形网络,然后在此局域网内,通过VB上位机监控软件和Web查询模式对仓库环境进行了控制和查询实验,实验表明,采用基于ZigBee技术的仓库管理是一个很好的尝试。     

机械制造业仓库实时管理方法

通过对以往领料流程和采购入库的研究分析,提出了仓库实时管理的概念.在整个领料、发料、仓库核销及入库的过程当中,运用无线条码扫描技术,大大减少了人为因素,避免了由于主观原因造成的领发料错误;并且在采购入库过程中,运用关联规则数据挖掘Apriori算法对领料数据进行挖掘,实现对采购入库计划的指导,减少了采购计划计划的盲目性...     

基于BizTalk的煤矿企业异构系统集成模型研究

分析了煤矿企业异构系统集成的发展现状,指出目前采用的信息集成方法存在的问题:数据仓库法数据同步的实时性较差,中间件法对网络的依赖性强、查询效率低,综合集成法对中间件的依赖性强、建设成本高;提出了一种基于BizTalk的煤矿企业异构系统集成模型,给出了该集成模型基于实时性、安全性、一致性和完整性、扩展性的设计目标,详细介绍了该集成模型的整体架构及数据流程。实际应用表明,该集成模型满足煤矿企业异构系统集成平台的建设需求。