【摘 要】
：
Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启
【机 构】
：
全军后勤信息中心,数学工程与先进计算国家重点实验室,防空兵学院,复旦大学并行处理研究所
【基金项目】
：
国家863计划资助项目(2012AA010905);国家自然科学基金资助项目(61370081)
论文部分内容阅读
Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。
其他文献
文章在分析了雷达辐射源信号特点的基础上,提出了一种雷达辐射源识别专家系统的数据库设计方法。该方法运用了规则入库、非规范化设计和面向对象的数据库设计思想,满足了专家
通过有关文献资料,对我国城市社区体育管理体制的现状和运行机制进行了分析,并根据城市社区体育的定位和现状,力图寻找当前社区体育管理体制存在的弊端。在此基础上,提出了加
目的:引起人们对药学服务中的人文关怀的重视。方法:从人文角度对我国药学服务的现状与困境进行分析和讨论。结果与结论:药学服务作为一项公益性的事业,是自然科学和人文科学
随着我国经济的快速发展，城市化的进程越来越快，城市占地规模日益扩大，原本地处城市边缘的旧工业建筑逐渐成为城市中心地带。当城市建设用地逐渐匮乏，加上受到国外旧工业建筑再利
肝细胞癌极易发生侵袭转移,目前尚未有特效防治方法,严重影响患者生存和预后.自噬是细胞生长发育、成熟分化及死亡的重要调控机制,肿瘤细胞生长需要的营养物质和氧不足时诱发
目的:讨论小儿喘息性肺炎发作与肺炎支原体感染及过敏的关系。方法:用ELISA法及颗粒凝集法检测以喘息为突出表现的支原体肺炎的患儿血清肺炎支原体IgM及总抗体效价,对比喘息
许多大规模临床试验已证实他汀类药物明显降低冠心病的发病率和心血管事件的发生,强化调脂治疗在极高危患者中的地位日益受到重视。与其他他汀类药物相比,瑞舒伐他汀具有一些
心脏的心肌组织体积占心脏总体积的95%以上。毫无疑问,任何心脏疾病的发生和发展均将对心肌组织产生不同程度的损伤。而组织结构的损伤必将导致心肌力学功能的异常。如何早期
冒用他人信用卡是信用卡诈骗犯罪中一种常见的犯罪形式,司法实践中存在的争议问题也比较多。首先从冒用信用卡诈骗犯罪的行为界定入手,全面论述了冒用行为的基本内涵以及被冒
<正> 明太祖朱元璋亲颁《大明律》,严令:“在朝官员交结朋党,紊乱朝政者斩”。然纵观明史,朋党之争迭兴不休,尤迨中叶趋末,阉宦为祸酷烈,朋党论争炽盛,终酿成亡国之患。探其