非均衡数据场景在现在的大数据处理,机器学习任务中十分常见。标准的机器学习算法一般都是以样本数据分布大致均匀为前提建立的,然而当样本数据分布不均衡时,算法的准确度会随着数据不均衡程度的增加而急剧下降。因此如何改进标准算法,使它们的适用范围扩展到非均衡数据是一个非常值得研究的问题。大数据并行计算框架Spark在当今的业界十分流行,并行化的机器学习算法实用性更强。而每一种算法需要使用不同的改进手段使之适用于非均衡数据。本文针对机器学习分类任务中广泛使用的随机森林算法(Random Forest,RF)和聚类任务中广泛使用的模糊c均值聚类算法(Fuzzy C-Means,FCM),在非均衡数据场景下研究并使用不同的策略改进了两种算法。本文的主要研究工作如下:(1)现有处理非均衡数据的RF算法时间复杂度较高,并行化程度低并且可扩展性不强,针对这些不足本文提出了一种改进的RF算法。现有算法样本抽取阶段使用的采样算法效率较低,改进算法使用SMOTE抽样技术对样本中的少数类进行扩充,保证时间效率的同时使得每一次抽样会缓解样本子集的非均衡现象;现有算法的投票机制较简单,改进算法考虑了决策树对袋外数据的分类精度,同时放大少数类权重,建立了倾向于少数类的加权投票机制。受到Spark标准库RF算法的启发,改进算法沿用了装箱策略,同时将决策树由原始的二叉树扩展为多叉树,提高了生成决策树的时间效率。在Spark并行环境下的测试结果表明,本文的改进算法在时间效率、召回率、F1指数以及扩展性要优于其他算法。(2)现有针对非均衡数据的FCM算法需要一定先验知识,并且对非球形数据的聚类精度较低。本文提出了一种改进的并行化KFCM算法,该算法在没有先验知识的情况下使用两段式的聚类策略,首先在各个分区使用KFCM算法进行聚类运算,由于样本分割,算法的时间效率得到提高,但是各分区的中心点一般情况下差异较大,因此二阶段使用样本加权的wKFCM算法对各分区的中心点再次聚类,以达到弥补聚类精度的效果。在Spark环境下的测试结果表明,改进算法在保证了算法可扩展性的前提下,二阶段聚类策略可以明显提高聚类算法的精度。(3)针对单一算法进行非均衡数据分类任务时精度较低的问题,基于现有的非均衡数据分类框架,本文提出了一种结合聚类算法和分类算法的混合分类框架,该框架可以解决大部分非均衡数据固有分布对于分类算法带来的困难,在真实数据集上的实验结果表明该分类框架较已有的框架具有更高的准确率。