如何从标签样本稀少的海量高维数据中学习是机器学习领域的基础性研究课题。由于高维数据（特征）中存在着大量噪声特征和无关特征,特征选择（Feature Selection）已经成为数据预处理的一个不可或缺的步骤,它致力于从高维特征中筛选出最具有判别力的相关特征同时剔除不相关的噪声特征。当前的特征选择算法总是或多或少忽略了输入数据的局部几何结构一致性判别信息,或未能对特征之间的冗余进行建模,因此有必要设计更高效的特征选择策略。由于标签样本稀少而无标签样本丰富,而且给大量无标签数据手动标注既费时又费力,为此,学者提出主动学习（Active Learning）来缓解训练样本稀缺的问题。主动学习旨在从无标签数据中选择少量且信息量丰富的无标签样本,然后查询它们的真实（Ground Truth）标签进行标注用于下一轮的监督训练,同时最大限度地节约标注成本。由于当前的主动学习普遍存在着“训练样本少”、“采样准则权重固定”、“标签数据和无标签数据分布差异大”等特点,使得主动学习的实际应用受到制约。本文从数据预处理作为切入点,对特征选择和主动学习这两个基本课题展开研究,主要工作包括:（1）提出了一种结合局部几何结构一致性和冗余最小化的无监督特征选择方法。当前的无监督特征选择算法往往忽略输入数据的局部几何结构一致性信息,或未能对特征之间的相似度进行建模导致选择特征冗余。为此,本文整合了两方面的关键判别信息用于特征选择:（a）挖掘了原始高维特征空间和低维特征空间的局部几何结构一致性信息,用于选择相关的判别性特征;（b）采用最大信息系数对特征之间的相似度进行建模,最小化所选择特征子集的冗余。然后将上述两方面的判别信息融入到一个统一的特征选择框架中,用于选择判别性的相关特征,同时剔除无关的冗余特征。进而采用一个高效的优化算法对提出的特征选择框架进行求解,并且该优化算法的收敛性在理论上得到了证明。基于提出的特征选择框架选择的特征在聚类任务上取得了性能提升。（2）提出了一种自适应采样准则权重的批量模式样本选择算法。由于当前批量模式主动学习（Batch Mode Active Learning,BMAL）方法总是为样本采样准则分配固定权重来选择样本,忽略了主动学习过程中样本准则波动这一关键信息,进而导致次优的样本选择。针对这一难点,本文首先构建了样本采样准则,即（不）确定性,代表性和多样性,然后将这些采样准则融入到一个自适应准则权重框架中,来动态调整（不）确定性、代表性以及多样性的重要性以选择最有价值的无标签样本用于学习一个可靠的分类器。与现有方法相比,本文提出的方法选择的样本不仅能促进分类器的学习,而且自适应机制使得提出的算法更适合动态变化的批量模式主动学习环境。（3）提出了一个子模函数对候选样本之间的相似性进行建模,用以改进之前工作提出的自适应权重准则样本选择算法。具体而言,提出的方法包含两个重要阶段。首先,改进的方法采用自适应准则权重算法选择一批有价值的无标签样本;然后,设计了一个子模函数从选定的一批无标签样本中鉴别出一个小批量的多样性的样本子集,进而显式地控制选择样本的冗余。提出的方法采用的自适应样本采样准则重加权机制不但使得样本选择框架更加灵活,而且冗余控制能够显著提升学习模型的鲁棒性。进一步地,将改进后的自适应批量样本选择算法扩展到半监督分类和半监督聚类任务中。实验表明,相较于对比方法,提出的算法在12个基准数据集上取得了当前最佳的分类和聚类性能。（4）提出了卷积神经网络场景下的不确定性和代表性准则用于主动深度图像分类。当前的大多深度主动学习方法倾向于只选择不确定的图像用于训练神经网络,而且主动学习方法易于受到标记数据和未标记数据分布差异的影响。针对上述局限,本文提出探索深度主动学习中无标签样本的不确定性和代表性信息,旨在训练一个可靠的神经网络用于图像分类。通过最大化两个额外的对抗分类器的预测结果来学习不确定性,同时标记数据和未标记数据的特征分布也尽可能对齐。然后,采用（n+1）-tuplet损失来训练神经网络,使得学习到的特征能更准确地预测无标签图像的伪标签和类簇质心,从而选择靠紧各个类簇中心的代表性样本用于主动监督。在3个图像分类数据集上的大量实验表明,本文提出的方法实现了最优的分类性能。