数据挖掘是从大量数据中提取或“挖掘”知识。目前关于数据挖掘的研究工作,大多着眼于数据挖掘算法的探讨而忽视了对数据处理的研究。成熟的算法要求良好的数据(完整性好、冗余少、属性间的相关性小)。实际应用中清理前的数据很难满足算法的要求。其中大量的无意义的数据影响了挖掘效率,噪声干扰了算法的精度。数据预处理已经成为数据挖掘系统实现过程中的关键问题。本文围绕两个主题:数据仓库质量控制之ETL和主题网站质量控制框架,将数据预处理方法应用其中,主要做了下列工作。1 研究了ETL设计与实现技术中的难点,给出了搭建ETL过程的体系结构。2 研究了DBMS中单数据源、多数据源以及schema级、instance级出现的数据问题,并给予解决方法。3 以企业DW项目为背景,在RS6000上基于AIX编写shell脚本实现了单数据源的抽取、转换和装载,装载平台为DB2。4 探索了主题网站实时过滤非主题文本信息技术。自行设计了一个文本预处理可扩展框架:两可选模型(VSM和LM)、质量控制三阶段算法。5 分析了框架中主要的数据预处理功能模块:分词、语言分析、模型建立、特征提取。并针对主题网站信息源Text Stream的特点,从实时过滤角度出发,<WP=3>提出了两个可选的新颖方案:(1)基于相似度的高速匹配方案,改进MC法,配以逻辑阈值,让网站文本根据匹配的模板进行快速过滤,其中,在线文本预处理、高效模板更新、内存需求小都是该方案的可取之处。(2)基于SVM的增量训练方案,SVM理论完备,分类效果出众,在它基础上构造一种新的增量训练算法用于主题网站实时分类(主题与非主题),实验结果良好。