食品安全分析数据仓库构建过程中的数据预处理技术

数据仓库是进行多维数据分析的基础,在构建食品安全析数据仓库中,需要对原始操作型的数据进行预处理,使其更适合分析的需求.介绍了构建食品安全分析数据仓库中常见的数据预处理技术,主要包括数据清洗技术和数据转换技术.     

数据仓库中的数据集成转换

本文首先提出了数据仓库中数据集成的一个总体框架，然后列举了在数据转换中可能遇到的主要问题，最后根据这些转换规则，给出了一种描述性脚本语言来描述这些规则，继而给相应的处理模块解析处理。     

数据仓库建设中的数据转换技术研究

数据转换是建设数据仓库的一项重要工作,使用DTS转换包是一个很好的方法。用DTS图形向导建立和初始化DTS包,然后在vb．net语言环境中使用,方法简单实用,对数据仓库的建设有较高的指导性和实用价值。     

数据仓库中的数据抽取分析及应用

简要介绍了数据仓库的决策支持系统,对数据仓库的数据抽取方法进行了分析,比较详细地对数据仓库的数据抽取方法──DTS设计器进行了实例探索.     

数据仓库中异构数据的转换

在大多数信息管理中都存在模式和数据转换，且都是单独被研究。相信有统一机制，将中间件看成是转换引擎，并且讨论在什么时候进行转换如何进行转换。     

数据清理及其在数据仓库中的应用

数据仓库是为决策服务的，这里的数据是从各种并构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性，因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改，发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。     

交互式数据清理系统的研究

当今数据清理方案需要反复进行数据质量分析以查找错误，为修复它们而进行的转换需要运行很长的时间。用户需要忍受长时间的等待，而且经常需要撰写复杂的转换脚本。我们所探讨的交互式数据清理系统，它能紧密地将转换和偏差检测集成在一起，只要发现偏差，用户就可以交互式地使用简单的图表操作、实例描述逐渐建立一个转换，无需书写复杂的程序或忍受很长的延时。     

数据仓库中的数据抽取分析及应用

简要介绍了数据仓库的决策支持系统，对数据仓库的数据抽取方法进行了分析，比较详细地对数据仓库的数据抽取方法－DTS设计器进行了实例探索。     

数据仓库中重复记录清理算法研究

针对重复记录清理中的"排序、识别、合并"算法存在的问题进行了改进.改进后的重复记录清理算法在保证记录匹配率的情况下有效地提高了记录排序的效率;在重复记录识别时,考虑了匹配字段的文字数量、在2个字段中出现的频率、在记录中各字段的重要性(权重)、中文字段的语义和语义重点偏后等5个因素;合并重复记录时采用了聚类和实用算法并用的策略,有效地提高了数据仓库中重复记录清理算法的准确性和健壮性.     

数据清理方法

数据清理是数据仓库中的一个重要研究领域,近似重复记录的识别则是数据清理中的技术难点之一。文中提出了几种预处理技术,通过使用这些技术,当记录按关键字排序时,近似重复记录互相靠近。结合识别近似重复记录的优先队列策略,给出了记录相似度的计算,并给出了分析结果。     

数据仓库建设中数据处理技术的研究

数据仓库建设是一项巨大的工程,数据处理又是其中至关重要的一个环节。本文从数据处理过程中数据收集、数据清洗、数据转换和数据质量评估几方面说明数据处理过程中常出现的问题及其解决方法。系统已在银行业务中予以实现。     

一种基于模型转换的数据仓库设计技术

该文比较了数据仓库数据库与传统操作型数据库,回顾了“规范的”操作型系统设计,介绍了三种典型的数据模型———实体关系模型、对象模型和维模型(星形模型)。提出了一种基于模型和模型转换的数据仓库设计工程方法。     

基于数据仓库的数据转移方法

数据转移是企业实施数据仓库的关键 ,针对数据仓库的技术特点 ,结合微软公司的数据仓库解决方案和数据转移服务 DTS,对数据转移过程中的几个典型问题 ,给出了其各自的解决方案     

可扩展和可交互的数据清洗系统

可扩展性和可交互性是数据清洗系统的主要特征。为了说明此系统的特点,列举产生异常数据的原因,用系统框架图来解释各个功能模块,提出用统计学等方法检测异常数据,针对不同类型的异常数据提出相应的清洗策略,并说明如何评估算法的优良性和数据准确性,最后用流程图来说明整个系统。人口数据清洗结果显示人口数据质量大幅度提高了,同时也证明此系统有很高的执行效率。     

可扩展和可交互的数据清洗系统

可扩展性和可交互性是数据清洗系统的主要特征。为了说明此系统的特点，列举产生异常数据的原因，用系统框架图来解释各个功能模块，提出用统计学等方法检测异常数据，针对不同类型的异常数据提出相应的清洗策略，并说明如何评估算法的优良性和数据准确性，最后用流程图来说明整个系统。人口数据清洗结果显示人口数据质量大幅度提高了，同时也证明此系统有很高的执行效率。     

一种基于规则的交互式数据清洗技术

以往数据清洗工具在三个方面存在不足:工具和用户之间缺少交互,用户无法控制过程,也无法处理过程中的异常;数据转化和数据清洗规则缺少逻辑描述,没有达到与物理实现的分离;缺少元数据管理,用户很难分析和逐步调整数据清洗过程。文中提出了一种新的基于规则描述的交互式数据清洗框架,解决了上述三个方面存在的不足,提高了数据清洗的效率,使得数据的质量得到保证。并通过描述清洗规则的定义和执行,详细阐述了该清洗框架的结构。     

数据仓库技术综述

数据仓库是数据库技术的一个新的发展方向,是当前热门的一个研究领域。介绍了数据仓库的概念、体系结构特点,对数据仓库的创建过程进行了分析,对数据仓库在国民经济领域中的应用及其发展前景进行了描述。