数据质量和数据清洗研究综述

对数据质量,尤其是数据清洗的研究进行了综述.首先说明数据质量的重要性和衡量指标,定义了数据清洗问题.然后对数据清洗问题进行分类,并分析了解决这些问题的途径.最后说明数据清洗研究与其他技术的结合情况,分析了几种数据清洗框架.最后对将来数据清洗领域的研究问题作了展望.  

数据仓库中ETL技术的研究

作为数据仓库的关键部件，支持数据抽取，清洗，转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素，该文简单介绍了ETL技术，包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果，然后重点介绍了ETL的具体设计和实现方法。  

信息系统数据清洗、规则提取的矩阵算法

本文在等价矩阵概念的基础上，分析了粗糙集知识系统中等价划分与等价矩阵的关系，采用等价矩阵来表示粗糙集的等价关系，提出了一种对数据库知识系统进行数据清洗、从中提取决策规则的矩阵算法，并分析了该算法的计算复杂性．该算法具有规则提取的工程实用性，主要优点在于能够获得信息系统中所有有价值的决策规则．文中通过实例表明了这种算法的有效性．  

数据ETL工具通用框架设计

异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架，使用通用数据访问接口来屏蔽各种数据源之间的差异，并以数据清洗为主要目的，为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。  

RFID复杂事件处理技术

随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高效的RFID事件检测和处理。分析了RFID数据的特点,归纳和总结了RFID复杂事件处理的最新技术,讨论了一些亟待解决的新问题,主要有RFID数据清洗方法、以数据为中心的检测技术、以事件为中心的检测技术,以及复杂事件处理系统等,并对今后的研究重点进行了展望。  

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。  

数据质量研究综述

数据质量管理是信息系统建设的首要问题.本文首先回顾了数据质量的定义和质量提高策略的分类,然后对数据质量研究涉及的两个主要方面,即数据质量评估和数据质量提高技术的各种方法进行了比较和分析,并对有代表性的数据质量提高工具进行了介绍.最后提出了一个评估驱动的数据质量提高框架,并对数据质量研究方向进行了展望.  

基于数据仓库的企业管理决策支持系统

本文首先讨论基于数据仓库的决策支持系统的优越性，给出一种实现模型。并就建立数据仓库的关键技术进行讨论。提出一种新的实现数据清洗和过滤的方法，并且比较数据立方体的三种存储模型，最后给出量化结果。  

一种大数据量的相似记录检测方法

大数据量的相似重复记录检测是数据清洗中的一个重要问题，提出一种基于q-gram层次空间的聚类检测方法：它首先将数据映射成q-gram空间中的点，并根据q-gram空间中的相似性度量采用层次聚类方法将相似的重复记录检测出来．它克服了传统的“排序＆合并”方法由于字符位置敏感不能将相似记录字符串排在邻近位置的不足和大数量外排序引起I／O代价过大的问题．理论分析和实验表明，方法不仅具有好的检测精度，且有好的伸缩性，能够有效地解决大数据量的相似重复记录检测．  

基于规则引擎的数据清洗

以往的数据清洗研究存在以下缺陷：检测和修复动作要么使用灵活性差的硬编码，要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑，使用规则引擎来执行清洗逻辑，从而能够处理各种数据质量问题的数据清洗架构REBDCA，解决了该问题。展示了REBDCA和一个ETL工具的集成，测试了REBDCA的性能，并和用硬编码完成相同逻辑的方案进行了性能对比。