随着信息技术的发展,产生了大量的信息,如何从中获得有价值的信息是一个很有意义的研究内容。随着信息的越来越多,单机已经无法处理这样的数据量,Hadoop就此诞生了,但是Hadoop的计算模型编写代码比较复杂,并且计算模式是基于磁盘的,这样就导致计算速度很慢,Spark的诞生很好的弥补了Hadoop的缺陷,越来越多的人选择Spark作为大数据的计算框架。分类算法是数据挖掘中的一个重要部分,主要是用来做预测和推荐等。Spark MLlib是Spark中的机器学习算法库,但是由于Spark刚刚诞生,因此其算法库并不完善,而如今在Spark平台的机器学习算法库MLlib中并不支持K近邻算法,但是K近邻算法简单有效,易于实现,应用广泛,因此在Spark平台上实现K近邻算法是很有必要。本文是将聚类算法和K近邻算法相结合,利用聚类算法,先求出训练样本集合中每一类的样本类别中心,再求出训练集中每个训练样本离样本类别中心的距离大小,将每个距离平方的倒数作为权值,利用权值来区别对待测试样本的K个最近邻,最后采用加权投票策略进行分类。通过实验验证改进后的K近邻算法有较好的正确率。然后对改进的K近邻算法进行并行化设计,并在Spark平台上实现并行化。搭建了Spark集群进行实验分析,通过实验验证算法在Spark平台上运行的时间比单机有明显的降低,算法效率有明显的提高。本文针对K近邻算法在Spark平台上并行化时发生的数据倾斜状况进行分析研究,数据倾斜非常影响算法的执行效率,当K近邻算法计算的数据量越大,算法执行效率越低。本文对K近邻算法并行化进行改进优化,提出了不同场景下数据倾斜的5种解决方案,解决了数据倾斜问题。通过实验首先验证了数据倾斜解决方案的有效性,接着验证算法的加速比和运行时间,发现优化后的算法效率有明显提升。