为了有效地组织和处理海量文本数据,文本挖掘技术越来越受到关注,文本分类是文本挖掘中重要技术之一。基于机器学习的文本自动分类的总体思路大致为:文本预处理;特征降维;文本表示模型构建;分类算法分类;分类模型评估。其中,特征降维是文本分类中的重要步骤,特征降维包括特征选择和特征抽取。文本预处理后,文本变为由词项表示,训练集预处理后即为原始特征空间。该原始特征空间具有稀疏性和高维性,拥有如下问题:首先,训练和分类时间开销大;其次,过多的特征可能会导致“维数灾难”。特征降维,即将数据从高维降低到低维层次。本文针对文本分类中的传统特征选择方法的不足进行了分析,得出文本分类的特征选择关键在于选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词。因此,综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度,提出一种基于类内类间文档频和词频统计(Document Frequency of Within-class and Between-class and Term Frequency Statistics,DFCTFS)的特征选择评估函数,并利用该特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库,而训练集的特征词库则为各类别特征词库的并集。通过基于SVM的中文文本分类实验表明,该方法与传统的卡方统计量和信息增益相比,在一定程度上提高了文本分类的效果。本文提出的DFCTFS特征选择方法与传统特征选择方法一样,基于的假设是词项之间相互独立,通过计算词项和类别之间的特定关系来过滤词项,不考虑文本中词项之间的语义信息,但是,文本中的词语具有隐含语义结构。因此,使用隐含狄利克雷分配模型(Latent Dirichlet Allocation,LDA),对经过DFCTFS特征选择后的特征空间中融入文本词项间的语义关系,实现进一步的特征降维,优化文本与词语间的语义结构。通过基于SVM的中文文本分类实验表明,该方法与DFCTFS特征选择、LDA特征抽取方法相比,在一定程度上提高了文本分类的效果。本文构造了一个中文文本分类系统,并且在该系统中通过上述实验验证了本文所提出的改进的特征降维方法的有效性。