面向企业的混合型分布式数据仓库的数据集成方法

混合型分布式数据仓库是一种适合集团型企业特点的数据仓库解决方案,但它数据分层存储的结构使得总部决策支持系统访问子公司细节数据发生困难.文章分析了混合型分布式数据仓库的体系结构,结合JW-DSS项目提出了一种借助远程视图从总部决策支持系统直接访问局部数据仓库细节数据的方法,最后还提出了一种通过分层映射数据解决连接远程视图导致总部数据仓库访问效率降低的方法.     

数据仓库的存储优化设计

随着数据仓库逐渐成为企业决策支持的重要技术手段,对数据仓库的存储能力与性能的优化问题日益成为人们重视与关注的焦点之一。该文在数据仓库的模型结构以及数据分析过程中所采用的一些算法进行分析的基础上,对数据仓库与OLAP的数据存储方式以及优化的方法进行了深入的讨论,并在此基础上提出了一个通过数据分割技术存储细节数据,利用分层的方式来存储聚合数据,通过提高系统的并行处理能力来改善数据仓库系查询访问的效率的存储设计优化方案。     

数据仓库技术及实施

介绍了数据仓库的基本概念,针对数据仓库建立对创建数据仓库的过程进行了分析,对实现数据抽取、数据仓库的存储和管理等进行分析和比较。     

数据仓库技术及实施

介绍了数据仓库的基本概念，针对数据仓库建立对创建数据仓库的过程进行了分析，对实现数据抽取、数据仓库的存储和管理等进行分析和比较。     

数据仓库实现过程及在线分析

数据仓库技术是近几年来出现并迅速发展的一种技术，它可以充分利用数据仓库中已存储的信息，帮助决策者进行决策。本文在介绍数据仓库的定义和数据仓库决策支持系统原理的基础上，详尽地讨论了数据仓库中的数据抽取与转换方法，并对数据仓库实现过程进行了实例探索和在线分析，最后根据数据挖掘方法进行了实际的应用。本文就是采用微软SQL Server 2000数据仓库技术设计了一商业用的数据仓库，使读者可清楚了解数据仓库的决策支持系统的实现过程。     

OLAP在企业中的多维数据分析研究

分析了OLAP的特点,进行数据仓库存储方式的构建和多维数据分析功能的实现。引入动态的OLAP多维视图分析,决策者可以从各种维度对销售数据进行审视,进行切片、切块、旋转和钻取等OLAP基本分析操作。文章介绍了组织用于OLAP的多维数据结构。用OLAP进行销售数据多维数据分析。     

基于RDBMS的XML数据存储技术

XML已成为互联网事实上的数据表示标准,在数据交换和数据仓库中广泛应用.但XML文件特征不能保障数据的安全性和并发访问,而RDBMS严谨的关系理论和技术的成熟性可以弥补XML技术的不足.结合XML与RDBMS的优点,提出一个基于RDBMS的XML数据存取方案,用于简化XML数据的管理和数据仓库的构建.利用Oracle ...     

网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时,存储方法要考虑的问题;数据存储的基本传输和存储单元及存储模式。     

数据仓库的服务器抉择

与其它的数据应用不一样,数据仓库环境本身具有不同的负载特征。要解决数据仓库环境下的服务器选择问题,就必须分析现有的服务器技术,对其特征加以比较,从而针对数据仓库环境的负载特征进行取舍。服务器技术种类从体系结构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构(SMP:SymmetricMulti-Processor),非一致存储访问结构(NUMA:Non-Uni-formMemoryAccess),以及海量并行处理结构(MPP:MassiveParallelProcessing)。每种服务器都有着自己独特的体系结构和特征。SMP(SymmetricMulti-Processor)所谓对称多处理器结构,是…     

网格环境下的数据存储

数据存储可以使利用不同存储环境的用户有效地访问数据。本文对网格环境下的主要存储技术进行了介绍。讨论了在本地和远程存储数据时，存储方法要考虑的问题；数据存储的基本传输和存储单元及存储模式。     

Oracle数据仓库解决方案概述

本文介绍了用Oracle的产品来做数据仓库的设计与开发要完成数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展示、数据仓库的维护和管理的五个过程。     

操作数据存储应用研究

就数据仓库与操作数据存储作一个比较,提出操作数据存储（oDs）建设的意义。根据某单位数据中心分期建设的需求,制订数据仓库结合操作数据存储,在一期独立建设操作数据存储的方案。并探讨该操作数据存储建设案例。     

基于Spark的航空信息服务平台

针对大数据时代下,海军航空部队存在的种种数据治理问题,设计了一种基于Spark的航空信息服务平台,平台实现了航空数据的存储,分析与挖掘等功能.平台采用4层体系架构,使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理.最后,通过仿真实验,比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣.通过海军航空信息服务平台建设,可以有效为海军航空部队实训提供数据支撑,为平台使用者提供辅助决策.     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

基于关系的并行数据仓库的数据划分和操作

目前并行数据库的研究已经进入了实际应用阶段,而数据仓库的大数据量处理更需要并行处理能力的支持。针对数据仓库的特点,提出了一种可操作的并行化数据划分方法和物理存储方案,同时对基于该种数据存储的数据操作做了详细的讨论,并对各种Join操作的具体处理方法进行了归类论述。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

多维数据的Z-Ordering存储映射算法及其缓存调度优化

多维数据以线性形式在存储系统中进行访问操作,二维及以上维度空间中的相邻节点被不同的映射算法映射到一维空间的不相邻位置。高维空间中进行相邻节点访问时,其一维存储映射位置有着不同的访问距离和访问延迟。提出了基于空间填充曲线Z-Ordering的存储映射方法及其访问距离的度量指标,并和常规优先算法进行了对比,发现能更好地将高维相邻的数据节点簇集到一维存储位置,加强了局部性。调整缓存空间中用于预取的空间大小,可以利用增强的局部性,提高了缓存命中率。实验结果表明,改善了多维数据的访问速度,优化了系统性能。     

基于T^＊树的RFID数据缓存的研究与实现

如何对RFID中的海量数据进行有效存储并支持高效查询已成为目前研究的难点和热点。根据RFID数据的访问特点,将RFID数据的存储分为缓存和数据仓库两部分。并设计实现了基于T^＊树内存索引结构的RFID数据缓存模块,最后对其中的查询算法特别是批量查询给出了具体实现。结果表明,T^＊树比T树更节省存储空间,具有更高的cache效率以及更短的平均查询时间。     

数据仓库技术及其实现

本文主要介绍了数据仓库的背景和概念，并向用户展示了数据仓库的体系结构，特别针对数据仓库实现过程中的多维数据存储模型，数据变换及清洁过程进行了讨论。     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.