随着信息化技术的普及与发展,各行各业积累了大量的数据,为了充分利用这些数据,数据挖掘技术广泛的应用于各个领域。数据仓库是数据挖掘的基础之一,ETL(Extract,Transformation and Loading)用来实现数据仓库中数据的抽取、清洗、转换与装载,决定了数据仓库的数据质量。由于数据源中存在数据重复、数据缺失、数据错误等问题,导致数据质量大大降低,而数据质量严重影响了数据挖掘的效率和分析决策的准确率,所以数据清洗作为提高数据质量的主要方法,是ETL中的重要内容。本文为了提高ETL在大数据环境下的灵活性和工作效率,改进了传统的ETL框架,提出了ECL-TL(Extract-Clean-Load-Transform-Load)框架,并对其中的数据清洗方法进行了系统研究,具体的研究内容如下:(1)针对传统的ETL框架,本文设计实现了ECL-TL框架。该框架通过引入中间库将数据清洗和数据转换完全分离,降低了各组件之间的耦合度。同时,提供了高效的数据清洗解决方案,封装了数据清洗相关的算法库、规则库和评估库。(2)在重复记录清洗方面,本文提出了一种基于等价关系的完全重复记录清洗方法,并针对数据量的大小,设计了两种实现方案。通过实验分析,表明了该方法具有较高的清洗效率。此外,本文提出了一种基于属性层次结构的相似重复记录检测方法,该方法将数据集按照属性的重要程度依次进行聚类,层层筛选相似记录,进而缩小数据集,提高了相似重复记录检测的准确率和效率。(3)在缺失值处理、异常数据处理、逻辑错误数据处理及不一致数据处理方面,本文提出了一种基于信息值质量评价的低质量数据清洗方法,该方法通过信息值质量评价方法筛选出低质量数据,然后将上述四类数据的处理统一归纳为低质量数据的清洗。本文实验验证了该方法的实用性和有效性。本文设计的ECL-TL框架应用于某公安派出所绩效考核系统中,实验表明本文所提ECL-TL框架具有良好的可靠性和稳定性。同时,数据清洗方法对于公安系统数据的清洗具有良好的效果。