数据质量和数据清洗研究综述

对数据质量,尤其是数据清洗的研究进行了综述.首先说明数据质量的重要性和衡量指标,定义了数据清洗问题.然后对数据清洗问题进行分类,并分析了解决这些问题的途径.最后说明数据清洗研究与其他技术的结合情况,分析了几种数据清洗框架.最后对将来数据清洗领域的研究问题作了展望.  

Real-world Data is Dirty: Data Cleansing and The Merge/Purge Problem

The problem of merging multiple databases of information about common entities is frequently encountered in KDD and decision support applications in large commercial and government organizations. The problem we study is often called the Merge/Purge problem and is difficult to solve both in scale and accuracy. Large repositories of data typically have numerous duplicate information entries about the same entities that are difficult to cull together without an intelligent equational theory that identifies equivalent items by a complex, domain-dependent matching process. We have developed a system for accomplishing this Data Cleansing task and demonstrate its use for cleansing lists of names of potential customers in a direct marketing-type application. Our results for statistically generated data are shown to be accurate and effective when processing the data multiple times using different keys for sorting on each successive pass. Combing results of individual passes using transitive closure over the independent results, produces far more accurate results at lower cost. The system provides a rule programming module that is easy to program and quite good at finding duplicates especially in an environment with massive amounts of data. This paper details improvements in our system, and reports on the successful implementation for a real-world database that conclusively validates our results previously achieved for statistically generated data.  

信息系统数据清洗、规则提取的矩阵算法

本文在等价矩阵概念的基础上，分析了粗糙集知识系统中等价划分与等价矩阵的关系，采用等价矩阵来表示粗糙集的等价关系，提出了一种对数据库知识系统进行数据清洗、从中提取决策规则的矩阵算法，并分析了该算法的计算复杂性．该算法具有规则提取的工程实用性，主要优点在于能够获得信息系统中所有有价值的决策规则．文中通过实例表明了这种算法的有效性．  

数据ETL工具通用框架设计

异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架，使用通用数据访问接口来屏蔽各种数据源之间的差异，并以数据清洗为主要目的，为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。  

RFID复杂事件处理技术

随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高效的RFID事件检测和处理。分析了RFID数据的特点,归纳和总结了RFID复杂事件处理的最新技术,讨论了一些亟待解决的新问题,主要有RFID数据清洗方法、以数据为中心的检测技术、以事件为中心的检测技术,以及复杂事件处理系统等,并对今后的研究重点进行了展望。  

数据清理综述

由于各种原因 ,数据中存在这样或那样的脏数据需要清理 (净化 )。特别是数据仓库、KDD及TDQM(综合数据质量管理 )中 ,必须对数据进行清理。介绍了数据清理的有关内容、技术与实现方案 ,着重介绍了目前的两个重点研究、应用内容 :异常发现与记录重复  

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。  

数据清理及其在数据仓库中的应用

数据仓库是为决策服务的，这里的数据是从各种并构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性，因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改，发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。  

一种大数据量的相似记录检测方法

大数据量的相似重复记录检测是数据清洗中的一个重要问题，提出一种基于q-gram层次空间的聚类检测方法：它首先将数据映射成q-gram空间中的点，并根据q-gram空间中的相似性度量采用层次聚类方法将相似的重复记录检测出来．它克服了传统的“排序＆合并”方法由于字符位置敏感不能将相似记录字符串排在邻近位置的不足和大数量外排序引起I／O代价过大的问题．理论分析和实验表明，方法不仅具有好的检测精度，且有好的伸缩性，能够有效地解决大数据量的相似重复记录检测．  

位置编码在数据仓库ETL中的应用

为了保证数据仓库中数据的质量，在数据挖掘前必须进行数据清洗。ETL是构建数据仓库的重要环节，数据清洗就包含在其中。而检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的关键问题之一。该文将位置编码技术引入到数据仓库ETL中，提出了一种相似重复记录的检测算法，并给出了不同级别匹配阈值的动态确定方法。通过实验表明该算法具有较好的检测效果。