随着大数据时代的来临,机器学习作为现代数据分析技术的理论基石,发挥了至关重要的作用,同时也面临着大大小小的挑战。分类问题作为机器学习领域最基本最核心的问题之一,持续受到学术界的热切关注。传统的分类算法一般基于两个假设:一是不同类别的样本数量大致相同;二是不同类别的错分代价基本相等。然而在真实世界中,数据集往往存在类别不平衡问题和代价敏感问题,这使得基于准确率的传统分类算法变得不再适用。类别不平衡指的是不同类别的样本数量分布不平衡;代价敏感指的是不同类别的错误分类代价相差很大。在类别不平衡的数据集中,传统分类算法为了获得较高准确率,倾向于错分少数类样本,然而这些少数类样本往往更加重要;在代价敏感的数据集中,传统分类算法对错误分类代价不敏感,无法最小化错误分类总代价。由于类别不平衡问题和代价敏感问题在现实中的普遍性和重要性,国内外学术界对此展开了广泛而深入的研究,并提出了各种各样的解决方法。经过归纳总结,这些方法大致从两个层面来解决问题:一是从数据层面,通过重构训练集改变样本分布,典型的是采用重采样技术;二是从算法层面,通过重新设计现有算法使之适应这两个问题,典型的是代价敏感学习和基于Boosing的方法。在这些方法中,集成学习扮演了举足轻重的角色。经过十几年的研究,该领域已经取得了十分瞩目的成就,但是仍然存在一些问题,比如过拟合,丢失信息等,影响了分类模型的稳定性和可靠性。本文针对类别不平衡问题和代价敏感问题,做了以下两点工作:·提出两种基于重采样的集成分类方法:xEnsemble和RSEnsemble。首先介绍这两种方法的理论基石,然后对现有算法进行改进,最后分别从偏差-方差分解、误差-分歧分解的角度,理论上证明这两种方法的有效性。·将xEnsemble和RSEnsemble方法应用于真实的糖尿病诊断数据集。该数据集规模庞大,高度类别不平衡且代价敏感。首先明确实验的评价标准,然后对该数据集进行预处理,最终实验结果证明:相比其他类似方法,这两种方法能够取得更好的分类效果。