随着Internet的飞速发展,网络迅速成为一种重要的信息传播和交换的手段,在Web上出现了丰富的数据资源。为了更好的实现Web信息的共享,Web数据集成已经成为数据管理及相关方向中一个热门的课题。另一方面,由于Web数据源半结构化、自治性和更新快的特点,使得集成数据中含有大量的“脏数据”,这严重影响了集成数据的可信度和可用性,因此对Web数据集成的信息进行数据清洗是给研究者提出的一个新的挑战。基于以上分析,本文主要进行了Web数据集成中数据清洗的关键问题研究。本文首先介绍了数据清洗的基本原理、相关定义、操作流程以及评估标准和目前使用的工具存在的不足。接着介绍了数据清洗的相关技术,研究了不完整数据,异常数据和重复记录的清洗方法和流程。在分析现有重复记录检测算法的基础上,本文提出基于权值分级的相似重复记录检测算法。根据等级法计算每个字段的权值,按照分级思想,选择某关键字段或字段某些位将大数据集分割成许多不相交的小数据集,再在各个小数据集中检测相似重复记录,并引入多趟查找算法,实验表明此算法能快速准确检测重复记录。最后,本文根据Web数据集成中Web数据的特点,给出了基于Web的数据清洗框架,该框架主要是利用XML特点,在XML对数据库映射的同时进行数据清洗的预处理,即对数据进行元素化,标准化,提高数据清洗的效率。利用前面研究的重复记录清洗的算法,对Web信息抽取后的数据进行了重复记录的检测,并根据实验结果进行了相关分析。