近年来,随着互联网的迅猛发展,社会各行业每天产生海量的各式各样的数据,数据的爆发式增长推动了大数据时代的到来,如何从海量的数据中挖掘出有用的信息,是当前研究的热点课题之一。通过数据挖掘技术来发现数据中有价值的内容越来越受到关注。聚类分析作为数据挖掘的重要组成部分,在很多领域已经得到了充分的发展与应用,但是在当前大数据时代的背景下,传统的聚类分析技术在聚类准确性以及处理效率等方面越来越难以满足人们对海量数据挖掘的需要,于是,通过分布式计算框架如Hadoop,Spark等对聚类算法进行分布式并行化实现,赋予聚类算法强大的计算能力,使算法拥有更好的时间性能,更好的提高数据挖掘效率是当今研究数据挖掘的趋势。本文将采用Hadoop中的HDFS组件进行数据存储,因为其具有高可靠、高容错和高扩展等优点。使用基于内存计算的Spark框架来进行数据处理,该框架相对于Map Reduce计算框架拥有更优秀的执行效率。引入新兴起的群体智能优化方法中的布谷鸟搜索算法,因为该算法拥有参数少,全局寻优能力强,收敛快等优点,故使用该算法来改进传统的K-means聚类算法,最后将改进后的K-means聚类算法在分布式集群环境下运用到Spark框架中进行并行化实验。具体工作如下:(1)由于传统布谷鸟搜索算法在后期收敛速度较慢,收敛精度较差,故通过引入自适应发现概率和自适应产生步长机制来改进优化布谷鸟搜索算法,使其后期收敛速度加快,收敛精度提高。(2)虽然原始K-means算法简单,局部搜索能力强,但如果初始质心选取不好的话就易陷入局部最优,所以通过引入遗传算法思想优化原始K-means算法初始质心,再将改进后的布谷鸟搜索算法与优化后的K-means算法相结合,弥补了K-means算法的上述缺陷,使K-means算法全局搜索能力增强,聚类效果更好。(3)在分布式集群环境下将本文提出的改进K-means算法和原始K-means算法以及近年来其他学者提出的改进K-means算法利用不同数据集进行对比实验,结果表明,本文提出的改进K-means算法相比于其他学者提出的改进K-means算法和原始K-means算法聚类执行时间更少,同时本文提出的改进K-means算法相对于原始K-means算法并行化加速比更快,扩展比更快收敛,总的来说本文提出的改进K-means算法相对于原始K-means算法和其他学者提出的改进Kmeans算法有更好的聚类效果,时间开销更短。(4)将本文提出的改进K-means算法应用在实际的电子病历肝病患者肝功能数据处理中,通过对比原始K-means算法、相关学者提出的其他改进K-means算法以及本文提出的改进K-means算法在处理肝病患者肝功能数据的聚类准确率和聚类执行时间速率,证明本文提出的改进K-means算法在实际应用中相对于其他算法聚类性能更强、拥有更好的实用价值。