【摘 要】
：
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapRed
【机 构】
：
河北工程大学信息与电气工程学院,河北省信息安全测评中心
【基金项目】
：
河北省自然科学基金项目:云计算中分布式Jobtracker节点模型的建立与优化(F2015402077),河北省高等学校科学技术研究项目:基于复杂网络的空气质量动态分析和预测方法研究(QN2018073)
论文部分内容阅读
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一
其他文献
警务辅助人员是公安机关一支重要的辅助力量,是人民警察的助手,是当前我国社会治安防控体系的重要组成部分。随着经济社会的快速发展,面对日趋严峻的治安形势和警力严重不足
设计基于用户本体的图书馆用户数据挖掘系统的功能及架构,提高用户数据挖掘的深度。以创建图书馆通用用户本体为前提,结合图书馆用户数据挖掘技术创建图书馆用户数据挖掘本体
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
根据泄导洞改造工程案例,采取等比缩放模型模拟实验分析的方式,对案例工程优化改进水库泄导洞设计方案开展分析研究,探讨案例泄导洞适用的优化设计方案,以期为工程实际应用提
目的:探讨黄精多糖的提取及分离纯化条件,对得到的单一多糖进行分子量测定、单糖组成分析,并对其一级结构进行初步分析。方法:制黄精经石油醚脱脂后,采用水提醇沉,DEAE-cellu
2013年12月28日,十二届全国人大常委会第六次会议表决通过了废止劳教制度的决定。自此,在我国运行了近六十年的劳教制度正式废止,由此使得我国“刑事处罚-劳动教养-治安处罚
随着市场经济改革的不断深入,我国经济走上了高速发展的道路,日益纷繁复杂的经济行为和各个利益集团之间的博弈,使得单一化的财务人员或是司法人员很难解决经济案件中涉及的
伴随着经济全球化，信息技术在全世界范围内的迅猛发展，互联网广泛影响着我国经济社会的发展和人们生活形态的变革。我国互联网普及率已经超过全球平均水平，网络已经成为了青年人
多层合采是多产层气藏常用的开发方式,其关键之处在于分析判断各小层产出量。采用系统节点分析方法,以上部气层顶部为分析节点,建立了气井流入、流出动态数学模型,并将层间井