论文部分内容阅读
时空复杂度较高以及物理机器内存不足，会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题，在MapReduce分布式模型的基础上，提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数，控制混洗过程所需时间，利用M印内合并技术对网络流量进行控制，在进行中间结果合并时仅对社团合并，而不考虑社团内部节点，以控制内存开销。使用模拟生成的数据在集群中进行实验，结果表明，当数据规模和集群规模增大时，该算法具有较好的加速比和扩展性。