随着信息化工程的不断深入,许多企业在长期的运营过程中积累大量数据,这些数据能够反映企业生产经营过程中的规律。建立决策支持系统是利用已有数据的应用服务之一,但是基于劣质数据的决策是不可信的。纠正数据错误是避免错误决策、降低决策风险的重要一环,数据清理应运而生。本文深入研究数据预处理技术和数据清理技术。数据预处理技术分别针对数值型字段和字符型字段研究了孤立点的检测和缩写的发现;数据清理技术研究相似重复记录的清理。孤立点的检测使用一种基于邻域局部修剪的算法,利用垂直的数据结构—P-树实现算法,保证算法的有效性和高效率,并对算法做出改进,提高算法的适用性。在缩写发现技术中,重点研究基于动态规划的缩写发现算法,该算法不仅能处理西文字符而且能有效地发现中文缩写形式,改进后的算法具有较高的效率和较好的健壮性。数据清理部分对于相似重复记录的清理,分别研究英文、中文记录排序算法,不同类型字段的相似度计算方法,记录相似度计算方法以及相似重复记录的合并规则,并对以上相似重复记录清理的每个步骤都做出改进,提高了数据清理过程的正确率和执行效率。最后,本文给出了基于预处理技术的数据清理系统的初步实现,并将其应用到某项目中,验证结果表明:基于预处理技术的数据清理系统具有良好的运行效率和运行效果。