随着新技术的不断出现,现实中数据集朝着大规模方向发展,并呈现样本少、维数高等特点,这给传统的数据分类学习带来了巨大的挑战,其中冗余特征的存在间接加重这种不利影响。因此,如何从高维数据中剔除冗余或无关的特征,以避免维灾难问题,使得传统学习算法仍然能在高维数据上进行学习训练是目前人们面临的一道难题。特征选择就是在这种情况下提出的,它主要是指从数据的原始特征中选择一个最优特征子集,使得它包含原始特征的全部或大部分分类信息的过程。目前,特征选择是数据挖掘、统计模式识别和机器学习等领域的重要研究课题之一,在实际情况中也得到了广泛的应用。本文首先介绍数据挖掘中的分类问题,然后阐述特征选择问题的研究现状和研究热点等,并重点讨论信息度量标准。然后针对数据中冗余特征的消除问题,以信息理论中信息熵和互信息为基础,围绕如何度量特征之间相关性这一主体,开展了一系列的研究工作,以解决不同的数据分类预测问题。本文主要贡献和研究内容包括以下几个方面:1).根据数据挖掘中层次聚类算法的思想,提出了一种新的Filter特征选择算法ISFS。这种算法采用互信息和关联系数分别表示特征间的“类间距离”和“类内距离”,并依据层次聚类分析思想选择重要特征,以保证选择的特征子集具有最小的冗余性和最大的相关性,从而最终提高分类性能;2).针对现有特征选择算法中不同的信息度量标准,给出了一种泛化表示形式,并详细讨论该形式与其他信息标准之间的关系。此外,针对现有选择算法中互信息估值不准确的问题,提出了动态互信息的概念,以准确描述特征之间的相关性。在此基础上,还提出了基于动态互信息(DMIFS)和条件动态互信息(CDMI)这两种新的特征选择算法,以克服传统互信息选择算法的缺点,即不能准确反映选择过程中相关性的动态变化问题;3).针对现有特征选择算法中数据样本权重不变的问题,利用数据抽样技术,提出一种新的Boosting特征选择算法框架,以描述数据样本的重要性程度在特征选择过程中是不断发生变化的,从而避免了动态互信息对噪声数据比较敏感的问题。另外,还讨论了该选择算法框架中其他的相关问题,如样本权重更新方式和误差函数等;4).针对生物信息学中基因表达数据的样本少、维数高的特点,根据基因(即特征)之间的相似性,利用信息相关系数和近似Markov blanket技术对基因进行相似性分组,并结合集成学习技术,提出一种集成的基因选择算法EGSG,以最终提高分类模型的识别诊断能力。