随着移动设备和传感器的大量使用,世界上每天产生的数据量越来越多,如何处理大数据成为一个热门的问题。K-means算法因为其简单、运行速度快而广泛应用于数据的分析和处理,但是由于算法初始质心的随机性导致算法容易陷入局部最优解,而传统串行K-means在处理大数据的情况下不可行,故需要和大数据框架结合。本文重点对K-means算法在大数据场景中进行改进和应用。首先针对K-means由于初始质心的随机性导致的算法不稳定问题,参照K-means++提出Init Max Furthest Manhattan K-means（IMFM K-means）算法。新算法使用标准化后的数据,首先选择离原点最远的数据点作为初始质心,随后选择距离已选质心最远的数据点作为剩余质心,并将曼哈顿距离应用于初始质心的选择。然后基于Spark将IMFM K-means算法与K-means、K-means++和提出的另外3个算法进行对比,实验结果证明了IMFM K-means能有效减少算法迭代次数和运行时间,运行结果也更加稳定。然后用Apache Beam框架实现了IMFM K-means算法,并对其做了一系列实验。第一个实验是Spark K-means和Apache Beam K-means在5个数据量、数据维度不同的人工数据集上进行对比,实验结果证明Apache Beam K-means运行速度比Spark K-means更快。第二个实验是将Apache Beam IMFM K-means和Apache Beam K-means在上述5个人工数据集上进行实验,实验证明在相同迭代次数下,Apache Beam IMFM K-means比Apache Beam K-means有更好的结果,最好的情况下,其SSE几乎是Apache Beam K-means的一半。第三个实验是将Apache Beam IMFM K-means和Apache Beam K-means在3个UCI真实数据集上进行实验,实验结果证明在相同的迭代次数下,Apache Beam IMFM K-means准确率可以和Apache Beam K-means持平或者更高,在最好的情况下,可以提升30%的准确度。第四个实验是将Apache Beam IMFM K-means和Apache Beam K-means在不同集群节点个数上进行实验,实验结果证明Apache Beam IMFM K-means的运行时间可以随着计算节点的增加而减少,有较好的扩展性。最后基于Spring Boot、My SQL、My Batis、Spark开发了一个简单的书籍推荐原型系统,将算法IMFM K-means应用于系统的推荐模块,经过测试,IMFM K-means能有效聚类书籍并完成书籍推荐功能。所有实验相关代码已上传到Git Hub:https://github.com/keeper-jie/Apache Beam Kmeans.git。