高维数据正越来越多地充斥于数据挖掘领域,解决高维数据学习问题的传统方法是应用特征选择方法,尽可能地选择一个最小的特征子集(特征模型)来精确地描述学习数据。然而现存的多数特征选择算法存在一个共同的问题：即如果训练集发生轻微的变化,则经过特征选择产生的特征子集不稳定(或鲁棒)。当特征选择应用于知识发现时,算法的稳定性是一个不容忽视的问题。因此,本文的核心是稳定的特征选择算法的研究。首先在有监督的特征选择领域,为了提高算法的稳定性,基于L2正则化项和逻辑损失函数,本文提出了一种新的集成特征选择方法,即特征加权算法,并采用两种线性集成的方式WEn和REn。此外,本文还给出了对所提集成特征加权算法的旋转不变性和统一稳定性的理论分析。在真实数据集的实验结果表明,所提算法具有良好的稳定性和分类性能,并且在稳定性与分类准确率折中方面,本文所提的算法(REn和WEn)中至少有一个算法有高于或者相似于其他算法的性能。在无监督特征选择领域,本文提出了一种过滤冗余特征的算法框架,利用组特征选择的思想来去除冗余特征,同时提高算法的稳定性。在组构造阶段,为了弥补单一聚类算法的不足,引入聚类集成的思想,先利用k-means方法对数据集进行多次聚类得到一个聚类集体。在集成阶段,采用基于互联合矩阵的方法,将点对在同一簇中出现的比例作为它们之间的相似性度量,接下来对聚类集体进行层次聚类,得到最优的集成结果。实验结果表明这种算法框架能有效地消除冗余特征,保证算法稳定性的同时还能获得较好的分类性能。