近年来,国家不断加强监狱管理信息化建设,进一步提高监狱系统罪犯管理水平。在大数据时代,监狱单位每天产生大量蕴含着丰富信息的数据,利用数据挖掘技术从海量罪犯数据中挖掘出有用的信息,能够帮助监狱管理人员了解罪犯具体情况,通过整体信息做出优化的管理决策,实现监狱管理的智能化。为了实现对海量罪犯数据的有效挖掘,在司法行政执法管理平台一期建设项目组中,参与设计了利用Spark MLlib的K-means算法对海量罪犯数据进行聚类分析的方法。主要研究内容与结论如下:首先,针对目前大数据环境下对海量罪犯数据进行数据挖掘的需要,提出了一种基于Spark的罪犯数据聚类方法。传统的聚类算法在大数据量和高维数据空间的应用中计算效率低性能差,由此我们设计了一种基于Spark MLlib的K-means聚类算法。系统主要包括Hadoop和Spark两部分,介绍了 Hadoop和Spark的各种重要框架并进行系统整体架构的设计。其次,根据业务需求及罪犯数据实际特点搭建研究所需要的分布式集群并配置开发环境。项目使用的开发环境是基于Spark的分布式集群环境,首先在搭建Hadoop集群基础上搭建基于YARN资源管理器的Spark分布式集群,借助Hadoop底层的HDFS完成海量数据的存储,利用Spark实现大规模数据的快速分布式计算。最后,对监狱罪犯数据进行预处理并实现Spark MLlib的K-means聚类分析。我们共选取司法部大数据平台系统中的6851条罪犯数据,选取刑期、捕前职业、捕前文化程度、罪名四个维度,得到属于不同簇类的罪犯数据聚类结果并进行可视化展示,根据罪犯密集与稀疏分布情况确定重点关注类别和对象。然后分别在MapReduce框架和Spark框架下对K-means算法进行性能测试与对比,结果显示,对不同数据规模的罪犯数据进行K-means聚类,Spark比MapReduce快大约5～10倍,验证了 Spark较MapReduce在数据处理方面有更强的运行效率,该方法达到了高效率、高性能和高准确性的目的,验证了该方法的可行性。