信息时代,实时流式数据更多地出现在数据采集场景中,传统的数据分析方法已经不能满足实时数据的处理需求。近年来,针对数据流的挖掘越来越成熟,出现了许多卓有成效的算法。作为数据挖掘的重要分支,聚类算法在数据流中的应用也取得了突破。传统的聚类方法主要是对已有数据进行批处理,更多地考虑聚类算法的准确性,而针对数据流的聚类,因为数据流的海量、实时等特性,聚类算法的实施需要考虑更多的因素,不仅要能快速地对数据流进行扫描处理,还要能够将聚类结果实时响应,并且对于离群噪声点的判断也要非常即时、准确。D-Stream作为一个基于网格密度的数据流聚类算法,采用经典的在线——离线双层框架,对于数据流的聚类不仅能够保证效率和准确性,还能形成任意形状的聚簇结果。随着信息采集技术的进步,需要处理的数据量越来越大,需要研究针对数据流的并行聚类算法。如何将传统数据流聚类算法并行化,并做到不损失精度,且提高运行效率是一个重要的课题。与此同时,Storm、Spark、Samza等分布式数据流处理框架应运而生,并且很快得到了大规模应用,他们的开源社区也都非常活跃,这些框架使得数据流的分布式处理技术越来越成熟和简单。本文基于串行的数据流聚类算法D-Stream作出并行化改进,在原先算法的基础上,引入了分块的概念,并用通用的大数据处理框架Spark设计了一个基于分布式架构运行的动态数据聚类算法PDStream。为了进一步提高聚类算法的时间效率,本文引入了基于并查集的优化,在能够保证聚类算法准确性的基础上,同时加快了生成聚簇结果的速度,提高了算法的效率。实验结果表明,PDStream能够很好地适用于分布式环境,且具有更高的效率和良好的扩展性,能够实现分布式架构下的流数据动态聚类。