一种基于数据质量维度的数据清洗方法

随着社会经济的发展和大数据时代的到来,数据在人们日常生活中扮演的角色越来越重要。利用决策支持系统、客户关系管理系统(CRM)等数据库应用项目,我们可以从海量数据中提取更有价值的信息。然而,调查发现很多数据库应用项目的运行效果并不令人满意。数据数量增长的同时,数据质量的控制也给广大研究人员带来一定的困扰。人们越来越意识到,高质量的数据是商业成功的一个重要因素,而数据源中的脏数据是导致数据质量低的一个重要原因。为了保证高质量的数据,企业需要采取一系列措施来控制数据质量,并采用一定的手段来处理脏数据。然而现实中,检测与清洗数据源中所有脏数据的开销是昂贵的。因此,如何根据不同的商业的需求来拣选部分脏数据进行清洗具有一定的现实意义。文章在文献分析的基础上,回顾了数据质量、数据质量维度的定义,探讨了常见数据质量问题,阐明了数据质量管理与数据清洗之间的关系。针对脏数据拣选问题提出了一种数据清洗方法。最后对数据清洗相关研究进行了展望。