论文部分内容阅读
随着互联网用户及内容的指数级增长，大规模数据场景下的杰卡德相似系数计算对算法的效率提出了更高的要求。为提高算法的执行效率，对MapReduce架构下的算法执行缺陷进行了分析，结合Spark适用于迭代型及交互型任务的特点，基于二维划分算法将算法从MapReduce平台移植到Spark平台；并通过参数调整、内存优化等方法进一步提高了算法的执行效率。两组数据集分别在3组不同规模的集群上的实验结果表明，与MapReduce相比，Spark平台下的算法执行效率提高了4倍以上，能耗效率提升了3倍以上。