论文部分内容阅读
处理海量级数据的有效途径之一是将算法分解为一系列互不依赖的任务，然后利用开源工具并行地执行算法。而在重叠社区发现算法中，基于局部拓展的方法在拓展阶段往往仅需要局部社区及其相应的邻居结点的信息，因而具备可并行执行的可能性。提出了一种可并行化执行的局部拓展算法，并借助开源工具Spark将其实现。算法分为4个阶段。首先，挑选出一组不相关的中心结点并使用其对应的局部网络作为种子；其次，通过删除本身连接不是很紧密的局部网络来过滤选出的种子；然后，采用一种批量式的拓展策略来拓展种子，即一次向局部社区中添加一批邻居结点