【摘 要】
：
MapReduce是一种适用于大数据处理的重要并行计算框架。然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,影响了MapReduce的
【基金项目】
：
国家自然科学基金(61379017);浙江省公益技术项目(2017C31014);计算机体系结构国家重点实验室开发课题(CARCH201804)资助~~
论文部分内容阅读
MapReduce是一种适用于大数据处理的重要并行计算框架。然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,影响了MapReduce的整体性能。为了实现数据均衡分区,本文提出一种迭代式数据均衡分区策略,将每个Mapper节点要处理的数据块细分后以迭代方式循环处理,根据已迭代轮次的微分区分配结果决定当前迭代轮次的微分区分配方案,以不断调整历次迭代产生的数据倾斜,逐步实现数据均衡分区。给出了迭代式数据分区策略的分配时机、分配准则、分配评价模型和分配算法。基于公开的数据集,对迭代式数据均衡分区策略进行了详细测评,结果表明,该策略能够得到更均衡的数据分区结果,当数据集本身倾斜比较显著时,MapReduce整体性能比默认分区策略平均提高了11.1%和19.7%。
其他文献
房地产价格指数是反映房地产价格变动趋势和变动程度的相对数,通过百分数的形式来反映房价在不同时期的涨跌幅度。文章对房地产价格指数编制及其国内外房地产价格指数现状进
会计职业道德是会计人员必须具备的职业素养,而会计职业道德教育的缺失和流于形式是会计造假、舞弊案件层出不穷的重要因素之一。高职院校肩负着会计的未来,是培养会计人员后
为了解决高校学生经济困难,帮助他们顺利完成学业,我国制定了高校学生助学贷款政策。这有利于教育公平,有利于社会主义和谐社会的建设。我国国家助学贷款实施几年以来,取得了
风险投资退出机制是风险投资运作体系中的核心机制,是决定风险投资成功与否的关键因素。因此建立一套高效完善的退出机制,不仅是风险投资活动本身不可缺少的重要环节,对于当
目的:研究超声下子宫内膜形态、厚度与妊娠结局的关系,以期获得能够评估子宫内膜容受性的超声预测指标。方法:阴道超声监测本中心520个供精人工授精助孕治疗周期妇女人绒毛膜
融资难问题已严重制约了我国中小企业的发展,而信用缺失是造成中小企业融资难问题的最主要原因之一,文章通过阐述中小企业融资过程中信用的现状,剖析信用缺失的成因,进而提出
<正>小型实体店铺必须在商品、价格、渠道、促销等方面进行变革和创新,才能冲出网络营销的包围。在当今网络时代,随着网购迅速发展,传统店铺尤其是小型实体店铺(一般包括小型
隆美尔具有高超的军事统帅艺术:他是深谋远虑的战略大师,体现在他主张占领北非中东,腰斩大英帝国;他是出神入化的战术大师,体现在善于集中兵力突破敌人的薄弱环节、奇袭战术
现代英语教学中,注重知识和能力培养的形成性评价受到了越来越多的重视,本文结合英语教学的现状以及形成性评价的优势,就本校教改班学生形成性评价教学效果的实践研究,对形成