随着大数据时代的到来,数据挖掘逐渐成为创新研究的热点。数据挖掘,是在大数据中发现数据的潜在关系,从而实现价值评估和决策指导的技术。然而高质量的决策评估很大程度上取决于高质量的数据,所以数据挖掘之前的预处理工作就显得尤为重要。在实际应用中,各种数据质量问题增加了预处理工作的难度,其中数据不完备问题更是无法避免。本文主要研究预处理工作中数据不完备问题的处理,主要的研究工作如下。1)针对数据不完备问题的随机缺失模式,本文提出了基于增量式AP聚类的K最近邻的填补算法(IAPSKNNI)。首先分析数据不完备问题的原因和常用的处理方法,进而确定聚类填补的处理策略。根据动态处理数据不完备问题的需求,基于AP聚类的稳定聚类表现,使用增量式AP聚类动态更新聚类结果,来充分利用数据的完备信息。同时改进K最近邻填补使其能在不设定K值的情况下,将填补值快速收敛。最后通过实验仿真,验证了 IAPSKNNI算法的良好的填补性能,当缺失率越高,同类信息越少时,相对于其他K最近邻填补算法,能获得更好的填补效果。2)基于IAPSKNNI算法,针对电商数据,搭建了数据预处理的系统模块。首先分析数据预处理工作的工作内容,并从任务分割角度分解预处理工作。针对电商数据,分析数据预处理系统模块的功能需求,进而设计相应的系统子模块。基于JDBC的接口,使用JAVA语言分别实现数据采集、数据处理、数据检测、调度管理等四个子模块,从而搭建了完整的面向电商数据的预处理系统模块。