基于数据仓库环境下的数据可用性研究

随着数据仓库技术的广泛应用,如何存储数据并保证数据长期可用性已成为近年来的研究重点。文中阐述了在数据仓库环境下存在的数据长期可用性问题,并分析了已有解决方案的优劣,从而给出了一种较为完善的解决方案———模拟策略的核心思想和具体实现过程,以及相关的关键技术,指出了保障数据可用性的未来研究方向。该策略通过模拟历史的硬件平台环境,较好地解决了数据仓库中大量历史数据的长期可用性问题。     

零售业数据仓库中ETL技术的研究

数据仓库中的数据不是传统数据库中数据的简单堆积，它是一个复杂的容纳数据集成的系统工程，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。本文针对于零售业，阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案     

企业集团CIMS数据环境构建技术研究

结合某企业CIMS工程项目,研究了企业集团对分布式数据环境的需求,给出了面向CIMS的企业集团分布式数据环境的体系结构,讨论了分布式数据环境建设核心问题——数据建模,在原有数据仓库建模的基础上,提出了一种新的面向企业集团的分布式数据仓库模型,最后给出了某钢铁企业集团CIMS数据环境应用框架,并总结了分布式数据环境的实施策略和关键技术。     

Web数据仓库研究综述

本文对Web环境下的数据仓库研究现状进行了综述。首先指出利用Web上的数据为决策支持服务的必要性，并针对半结构化数据如何集成到数据仓库、Web环境下的数据仓库体系结构、查询处理及几种具有代表性的Web数据仓库系统给出简要阐述。最后对相关问题的研究现状做了简要分析并加以展望。     

复杂企业决策支持环境下的数据仓库体系结构的演化

在基于复杂的企业决策支持系统环境下,讨论决策支持系统数据仓库体系结构的演化,并由此进一步讨论对动态集成问题的解决方案。文章还讨论了分布式知识管理体系结构和数据采掘的关系,对决策支持系统数据仓库体系结构中的各个阶段进行了简要评估。     

数据复制与一致性

数据复制是分布式数据库和数据仓库中常用的方法,以提高数据的可用性和系统的性能。文中介绍了在数据库系统中广泛使用的数据复制方法,分析了其优缺点和适用的范围,重点讨论了异步复制方法中的一致性恢复、一致性偏离的度量和数据存取的限制等问题,给出了数据复制策略的评价目标。     

基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

数据仓库环境下的实化视图维护

本文通过示例说明数据仓库环境下实化视图维护存在的数据一致性问题，并分析了产生这一问题的根本原因．文中介绍了一些能解决数据一致性问题的具有代表性的实化视图维护算法，比较了它们之间的差异，最后描述了数据仓库环境下数据一致性程度的四个层次。     

基于CTAIS的税务数据仓库设计与实现

文中在对CTAIS系统深入剖析的基础上，借助数据仓库技术，提出了一种以CTAIS税务信息管理系统为数据源建立税务数据仓库的方法，并提供了一个较为全面的创建过程视图；同时对数据源的连接、数据的转换、数据仓库中数据定时更新等问题给出了具体的解决方案。     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

数据处理中的数据交换问题

为有效地解决实际问题,可能要使不同语言进行混合编程,这样就涉及到数据的传递和不同类型的数据文件之间的转换,这里讨论几种常用数据交换问题。     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库和数据挖掘

Making a business decision using data from severaldifferent enterprise databases can be complicated. Data warehousesconsolidate data into a central repository and give you the OLAP toolsnecessary to retrieve data pertinent to the solution.DefinitionA data warehouse is used to consolidate this data into a central storeand to arrange it to make analysis easier, which means the data is lessnormalized than your traditional application database. Data is typicallytransferred in batch to the centra…     

基于数据抽取器实现数据挖掘

通过定义ＳＯＬ数据挖掘抽取器,设计了数据挖掘算法和数据库管理系统的接口的框架体系。并通过一个常用的数据挖掘算法简单贝叶斯算法说明了这种标准的ＳＯＬ数据挖掘抽取器的适用性。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

数据转换过程的串行化方法

随着数据仓库和数据集成的发展,数据清洗的工作越来越多,用户在进行数据清洗时需要对数据的内容进行多次处理。在设计清洗的建模过程中,用户可能对同一个数据进行多次的清洗和转换处理,由于步骤多,用户往往不知道清洗和转换步骤出现错误。该文对前述问题进行论述,并针对这种清洗和转换处理中的赋值冲突和范围冲突提出解决方法。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

数据集成中数据项与数据元匹配算法

近年来,随着数据元标准的建立,数据元在各行各业的数据集成过程中担任着重要角色,用于规范数据库、报表、文档中的数据项,实现各种数据源之间的映射。分析数据元的结构,提出一种数据项与数据元匹配算法,该算法基于编辑距离算法,融合最长公共子序列、权重、词语重心后移等思想,实现数据项与数据元字典中数据元的相似度计算,利用排列组合原理对匹配速度进行优化。以中石化标准数据元为实验数据进行实验,验证了该匹配算法的有效性。