数据仓库中的数据粒度确定原则

在设计数据仓库逻辑模型过程中,数据粒度的设计好坏对数据仓库的性能、功能有很大影响.本文结合实际的数据仓库建设,讨论数据粒度的设计原则.     

数据仓库中数据粒度的划分

为了提高银行数据仓库的性能,合理地确定数据仓库中数据单元的详细程度和级别,给出了一种银行数据仓库中数据粒度划分的方法.分析了数据仓库中的粒度模型,介绍了数据粒度划分的策略,在此基础上提出了一种估计数据仓库大小的方法,进而在明确数据粒度划分原则的基础上,提出了一种银行环境中数据粒度的划分.该划分方法有效的解决了银行数据仓库开发者面临的一个最重要的设计问题,使其设计和实现中的其余方面得以非常顺畅地进行.     

数据仓库粒度的估算

近些年由于大数据的出现,传统的数据库技术在某种程度上难以承担对大数据的查询和储存的需求,人们对数据的查询和存储技术提出了更新和更高的标准.由此在数据库技术的基础之上出现了数据仓库,当人们设计数据仓库时,粒度级别的确定是数据查询和储存的重要因素.目前对粒度级别的确定主要采用的是估算算法,对粒度的估算具有一定的模糊性,在查阅了某些粒度的估算算法和文献之后提出了一种以MMTD算法为主算法的粒度级别估算算法.提出的算法思想是:对粒度的最大行数和最小行数进行初步的估算,将实际行数与估算的最大行数与最小行数进行比较,来确定实际的粒度级别,是高粒度还是低粒度[1].     

数据仓库及其建模的应用研究

介绍了数据仓库技术的基本概念、特征,对构建数据仓库的关键技术进行了一些理论和实践上的研究。并以学生选课数据仓库的构建为例,详细地阐述了数据仓库的建摸过程。     

企业数据整合与数据仓库设计

目前企业的数据资源可能已经很丰富,但是各系统之间数据不能相互连通。企业决策层组织需要看到的是一个企业跨职能部门的统一的数据联合展现和挖掘,所以需要构建数据仓库。数据仓库的构建过程主要包括：划分主题域、进行事实表和粒度分析、维度设计、元数据设计、数据库物理设计以及性能调优。     

数据仓库的动态粒度锁管理机制

通过分析数据仓库体系结构中并发控制导致的数据的不一致性,提出了解决并发控制的动态加锁粒度的两段锁协议。     

一种面向数据仓库的ETL多层实现策略

正确、有效的ETL（extract～Transform—Load）过程是提高数据仓库数据质量,保证数据分析的基础。在目前商务智能系统的实施中,ETL过程成为项目成败的关键因素。本文以进出口贸易公司数据为例,结合数据仓库存储设计、数据库多重粒度划分,提出一种面向数据仓库的ETL多层实现策略,为有效的进行数据挖掘和决策分析提供有力支撑。     

一种基于相容粒度空间的图像分割方法

定义归一化邻域方差,选取它和像素灰度值、邻域均值作为图像相容粒度空间的条件属性,构造出基于条件属性的相容粒度空间.根据相容关系进行图像粒化,定义相容决策粒间距离测度函数,利用思维进化算法(MEA)最优选取阈值,合成决策粒,实现对目标区域的提取,完成图像分割.实验结果表明所提出算法去噪效果明显,具有较好的稳定性和收敛速度.     

一个数据仓库建模工具的设计与实现

介绍了一个数据仓库建模工具DWdesign．给出了DWdesign的基本结构．对DWdesign中若干关键技术进行了研究，包括中间语义层、自定义数据类型、XML和标准SQL支持。该工具已在多个企业的数据集上进行了试用。     

数据仓库中时间属性的研究

在基于数据仓库的CRM系统中，时态数据的更新与删除处理是一直倍受关注的问题之一，本文主要探讨了数据仓库中时间属性的变化处理方案，为数据仓库维表的时态数据的更新变化处理提供了依据。     

数据仓库大型表分区策略研究

企业级数据仓库一般都由超大型数据库（VLDB）所组成,数据量以数百GB计算,甚至以TB计算。当数据表增长到一定数据量之后,交易性能会发生非常明显的下降。通过对数据表分区可以将数据分为更小、更容易管理的部分,从而改善大型表以及具有各种访问模式的表的可伸缩性和可管理性。本文通过对表分区特点的分析,具体研究了关系型数据仓库分区的影响因素,并提出了表分区的相关策略。     

数据仓库中的粒度确定

数据仓库开发者需要解决的设计问题中最重要的是数据仓库中的粒度确定，当数据仓库的粒度合理确定后，设计和实现的其它问题就会非常容易地解决，相反如果没有合理地确定粒度的话，就会影响其他每个方面。文中讨论了确定粒度时应该考虑的因素，确定方法。     

数据平台及数据仓库的建设——以淘宝网为例

在数据化战略的支持下,淘宝网在庞大的数据平台上构建起了一个具有针对性的数据仓库,为能够有条不紊的运营提供了条件,亦成了淘宝网在市场竞争中的重要工具之一。为了使数据化策略能够为更多企业的发展提供帮助,本文以淘宝网为例,对数据平台以及数据仓库的开发和设计进行了详细讨论,希望能够为现代企业运营和管理中数据化战略的实施提供有益参考。     

数据仓库质量及其应用

给出了数据仓库质量元模型的建模方法，提出了实现数据仓库应用质量、数据仓库数据质量的具体方法和数据防火墙的概念。     

数据仓库的数据抽取技术研究

介绍了数据抽取的几种技术,包括静态数据的捕获、通过日志文件捕获、通过数据库触发器捕获、基于日期和时间标记的捕获、在 源应用程序中捕获、通过文件的比较捕获。阐述了各种技术的优缺点,以及在实际环境中对各种技术的选择。     

多维数据管理的数据仓库技术研究

新一代信息系统对多维数据管理提出要求,而目前的数据库系统无法发现数据中存在的关系和规则,数据仓库技术已成为信息决策系统的研究热点。以数据仓库技术思想为核心,研究在关系数据库和现有低资源环境下,设计基于多维数据管理的分布式数据库及信息管理系统。     

统一空间数据仓库权限管理分析与设计

提出了一种在空间数据仓库系统下，基于主题和角色的统一的权限控制机制。将空间数据仓库的内部权限与外部权限、空间数据权限和属性数据权限统一起来。并用以支持国家自然科学基金资助重点项目－－“三江并流”代表性植物空间数据仓库及其多样性研究项目的实验平台的构建。     

创建企业级数据仓库的关键技术

论述了企业创建数据仓库的必要性、数据仓库的价值和应用,以及创建的关键技术,逻辑数据模型、物理数据模型设计、定义记录系统及与数据仓库接口等。最后论述创建的工具。     

基于实时数据仓库的OLAP研究

传统数据仓库及OLAP应用侧重对历史数据的分析.为了满足实时分析的要求,本文提出了一种实时数据仓库的分区结构.在分析了传统OLAP设计在实时性方面的缺陷后,我们提出了基于分区结构的实时OLAP的设计,使OLAP分析能够达到实时或准实时的要求.