论文部分内容阅读
连接操作是大规模数据集在数据分析应用中最常用的操作，针对MapReduce自身不能有效地处理数据倾斜情况下的连接操作，提出了基于MapReduce的频次分类连接算法。根据数据在连接数据集中出现的频率将整个数据集分为3类，对倾斜数据利用分区算法和广播算法实现数据重分布，以消除数据倾斜的影响；对非倾斜数据采用Hash算法实现数据重分布。重分布后的数据在单节点内即可完成数据连接操作，避免了MapReduce框架下连接操作的跨节点传输代价；同时有效地均衡了MapReduce各节点的任务负载，从而提高了数据倾斜状态