随着计算机技术及互联网的飞速发展,现代社会的数据正在以不可想象的速度膨胀,对大规模数据的管理利用已然成为一种现实需求和必然趋势。云计算的大数据处理能力,使得分析和掌握大数据中蕴藏的无尽信息、知识和智慧成为可能。聚类分析作为最常用的静态数据分析方法,常被用于模式识别、机器学习、数据挖掘等领域。随着大数据时代的到来,聚类分析在大数据中的应用也变得非常普遍。Hadoop是云计算环境下一种分布式计算框架,它以低成本和高效率的特性赢得了市场的认可,成为目前在云计算领域最受关注和研究应用的对象之一。很多聚类算法在Hadoop平台已实现,比如K-means算法、谱聚类算法等等,在这些成果的基础上以及针对其中的一些问题,本文做了如下工作:(1)详细介绍了Hadoop生态,尤其对HDFS分布式文件系统、MapReduce分布式计算框架进行了详细的研究和探讨,包括对其多作业链的作业方式,Shuffle阶段的Partition、Combine等各项机制进行了深入的探讨;(2)在Hadoop平台下提出了一种基于Hash改进的K-means算法。将海量高维的数据映射到一个压缩的标识空间,进而挖掘其聚类关系,选取初始聚类中心,避免了传统K-means算法对随机选取初始聚类中心的敏感性,降低了K-means算法的迭代次数。又结合MapReduce框架将算法整体并行化,并通过Partition、Combine等机制加强了并行化程度和执行效率。最后通过实验表明,该算法不仅提高了聚类的准确率和稳定性,同时具有良好的处理速度;(3)在Hadoop平台下提出一种树形聚类算法PAClustering。先提出一种基于权重的方法,将整体数据按分布划分成若干数据块,并针对每个数据块将紧凑的数据抽象成一个向量,形成微团,最后通过树形合并进行聚类,在提高聚类准确度的同时有效避免了传统算法在聚类过程中的迭代运算。最后通过在大小数据集上的实验表明,PAClustering算法不仅具有较高的聚类准确度和稳定性,同时具有良好的处理性能。