构建审计分析数据仓库中的数据清理及转换技术

数据仓库是进行多角度数据分析的基础,在审计中可借助数据仓库技术分析数据,用以辅助发现问题和锁定审计重点。数据仓库中的数据结构是面向数据分析设计的,在构建数据仓库时需要对原始操作型的数据进行适当的清理和转换,使其更适合分析的需求。本文介绍了构建审计分析数据仓库中常见的数据清理和数据转换问题以及相应的解决技术。     

数据仓库在电信统计分析中的应用

电信建立以客户为中心的服务体系,对于维系老客户、争取新客户、增强市场竞争能力有重要的意义。由于数据仓库能统一数据管理,保证数据准确和可追踪管理,支持内控,构建企业统一的数据管理平台,所以数据仓库越来越多地被应用于以客户为中心的的电信CRM统计分析系统中。以数据仓库在电信CRM中的建设为实例,从总体结构、模型设计、数据的抽取、转换和加载方面进行描述,说明了数据仓库在电信统计分析系统中的应用。     

数据仓库中重复记录清理算法研究

针对重复记录清理中的"排序、识别、合并"算法存在的问题进行了改进.改进后的重复记录清理算法在保证记录匹配率的情况下有效地提高了记录排序的效率;在重复记录识别时,考虑了匹配字段的文字数量、在2个字段中出现的频率、在记录中各字段的重要性(权重)、中文字段的语义和语义重点偏后等5个因素;合并重复记录时采用了聚类和实用算法并用的策略,有效地提高了数据仓库中重复记录清理算法的准确性和健壮性.     

基于数据仓库的ETL过程优化

提出一种优化ETL整体过程的方法,包括：其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF（Extracting/Integrating/Cleaning/Loading/Feedback）流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。     

数据清理方法

数据清理是数据仓库中的一个重要研究领域,近似重复记录的识别则是数据清理中的技术难点之一。文中提出了几种预处理技术,通过使用这些技术,当记录按关键字排序时,近似重复记录互相靠近。结合识别近似重复记录的优先队列策略,给出了记录相似度的计算,并给出了分析结果。     

数据清理中几种解决数据冲突的方法

建立数据挖掘模型的基石是数据仓库,数据仓库的质量直接影响到数据挖掘模型的建立与执行效率,并有可能影响到数据挖掘模型的最终结果的准确度。数据清理就是发现数据中的错误和不一致并加以消除,以提高数据的质量,使得数据挖掘模型建立的过程更加快捷和简便,挖掘出来的模式和规则也就更加有效和适用。     

数据仓库技术在电信企业的应用

本文介绍了数据仓库和ETL技术的有关概念和内容,结合电信业务的特点,构建电信数据仓库的体系结构。在给出的电信数据仓库体系结构的基础上,深入的探讨了基于电信业务的数据仓库ETL和数据展现方法。     

数据清理技术在软件开发中的应用研究

数据清理在数据仓库与数据挖掘中有着广泛的应用,在许多软件开发过程中也起着重要的作用。本文在讨论常用清理方法的基础上,着重阐述了基于相似度分析的数据清理方法。     

数据仓库中数据质量若干问题的研究

数据质量是数据仓库建设成败之关键。本文对数据质量问题进行了分类 ,给出了数据清理的一般过程。在此基础上 ,介绍了保证数据质量的一些关键方法 :单数据源中孤立点的检测、多数据源中模式的重构和冗余数据的清除。     

数据仓库技术在CRM中的应用

介绍了客户信息管理(CRM)系统以及数据仓库技术,着重分析了数据仓库技术在CRM中的作用,并给出基于数据仓库技术的CRM模型框架和客户信息数据模型。     

基于数据仓库的电信网络分析系统研究

电信市场的竞争日益激烈,数据仓库技术的出现为电信业务更快更准确的决策支持提供了保障。通过对电信网络分析业务的需求进行调研,结合数据仓库技术,给出了基于数据仓库的电信网络分析系统的总体架构,研究了系统的数据仓库维度建模及ETL的实现技术,基于以上技术设计开发的电信网络分析系统在实际中得到良好的应用。     

粮食行业数据仓库构建*

在充分考虑粮食企业业务运行系统的现有状况和深入分析用户决策需求的前提下,借鉴数据仓库技术的基本组成,研发了一个ETL（Extract,Transform and Load）程序,与Businessobjects,Sybase等产品共同构建了粮食行业数据仓库。     

交互式数据清理系统的研究

当今数据清理方案需要反复进行数据质量分析以查找错误，为修复它们而进行的转换需要运行很长的时间。用户需要忍受长时间的等待，而且经常需要撰写复杂的转换脚本。我们所探讨的交互式数据清理系统，它能紧密地将转换和偏差检测集成在一起，只要发现偏差，用户就可以交互式地使用简单的图表操作、实例描述逐渐建立一个转换，无需书写复杂的程序或忍受很长的延时。     

数据仓库中的数据集成转换

本文首先提出了数据仓库中数据集成的一个总体框架，然后列举了在数据转换中可能遇到的主要问题，最后根据这些转换规则，给出了一种描述性脚本语言来描述这些规则，继而给相应的处理模块解析处理。     

一种基于数据仓库系统的数据获取方案

数据获取是数据仓库系统中最重要也是最困难的任务之一。针对雷达对抗情报处理数据仓库系统,提出一种两级抽取数据的方法,从而实现了从各种类型OLTP数据库系统到数据仓库的数据获取。     

数据仓库应用系统技术研究

对数据仓库应用系统的一般解决方案以及六大技术结合目前市场上流行的三大数据仓库解决方案及其产品进行了系统地分析 ,以期对企业在建设数据仓库应用系统的过程中有所借鉴和帮助。     

ECAS数据仓库中数据集成的相关问题

数据仓库越来越广泛地应用于企业决策分析 ,从传统的操作型数据库集成数据是创建数据仓库必不可少的一步。结合宝钢能源部能源分析及成本分析系统 (ECAS)数据仓库 ,介绍了建立数据仓库时从不同的数据源抽取数据、清洗数据的相关问题。     

教学管理数据仓库ETL过程的设计与实现

本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷。本文还详细说明如何利用SQL Server DTS实现这两阶段ETL过程。     

基于Oracle实现多数据库环境多级数据仓库的ETL

集中式数据库的架构,使得单独的数据库管理系统（DBMS）成为了整个系统的瓶颈,已经越来越不适应海量数据对I/O性能、应用扩展、计算能力的巨大需求,正是在这种情况下大规模多数据库系统被提出,而多数据库环境多级数据仓库如何快速、合理地选择路径是研究的难点。该系统搭建在中小企业B2B电子商务系统的多数据库环境之上,以Oracle技术为支撑,通过动态路径规划以空间换时间快速、合理地选择路径,找到所需访问的目标数据库,实现多级数据仓库的ETL。实验结果表明,基于Oracle实现多数据库环境多级数据仓库ETL可以适应复杂数据仓库的并行要求,大大提高数据处理能力,有效地支持海量数据分析。