一个面向大规模数据仓库数据清洗策略的研究和实现

随着数据仓库和数据挖掘等商务智能技术在企业应用中的逐步实现，原始生产数据的集成并产生新的面向主题的、集成的、时变的、稳定的数据集合，就成为必须的支撑条件。但企业的数据往往存在着大量质量问题，这将直接影响基于企业数据的信息服务的质量。数据清洗就是通过各种措施，从准确性、一致性、无冗余、符合应用的需求等方面提高数据的质量。本文针对ETL过程中的数据清洗任务，提出了结合改进的N-Gram文法纠错算法和GDBR泛化算法的数据清洗策略，并根据COBRA和CWM标准开发了接口应用工具。实践表明，该策略是可行并且有效的。