随着社会信息化程度的提高,教育、金融、政府、医疗等社会各领域每天都在产生大量各式各样的数据,数据挖掘技术的产生便是为从海量异构的数据中提取出有价值的信息。作为数据挖掘中的重要技术之一,聚类分析方法通过物以类聚的思想,按照数据的特征属性将纷繁复杂的数据划分为不同类,实现对数据的分析。但由于数据量的快速积累,传统的聚类算法应对海量数据的处理能力已经捉襟见肘,加之其自身的缺陷,在聚类准确性和处理效率方面已经难以满足当前海量数据挖掘的需要。因此,对传统聚类算法的缺点进行针对性改进,提高算法的准确性和鲁棒性,并结合分布式计算框架实现算法的并行化,赋予其强大的数据处理能力,是当前完成海量数据挖掘任务的最佳思路。依据上述方向,本文做了如下工作:首先,阐述了本课题的研究背景及研究意义,对数据挖掘技术及云计算平台的国内外研究现状进行了介绍,重点阐述了聚类分析的相关理论知识和分布式计算框架Spark及相关技术。选择聚类算法中基于划分的经典算法K-means和近几年热度较高的基于密度的聚类算法DPC作为本文研究对象。其次,针对K-means算法中类簇数K需要提前设定且初始类簇中心随机选取导致迭代次数和聚类结果不稳定、收敛慢的缺点,结合Holdout验证和K-means++方法对原K-means算法进行改进,改进算法能够自适应的确定最佳K值和初始类簇中心。通过MovieLens数据集进行改进前后的算法的对比实验,验证新算法在聚类准确率和效率方面有着更好表现。再次,针对DPC算法中聚类结果非常依赖截断距离参数d_c的主观选取,并且难以处理分布复杂、密度变化大的数据集的缺点,通过结合K近邻和引入距离比较量,使算法能够兼顾数据整体和局部的分布情况自适应地生成最佳d_c,具有更好的性能。通过人工数据集和UCI数据集验证算法以及分离度测试,验证改进方法的可行性。最后,搭建Spark集群环境,完成了改进K-means算法和CDPC-KNN算法的并行化设计与实现,通过算法串并行实验对比验证并行化的算法对数据的处理能力大为提升,更能适应大规模数据的聚类分析。