用于Hadoop2.x的MapReduce性能评估模型

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:dashunyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于MapReduce的程序被越来越多地应用于大型数据分析的应用中.Apache Hadoop是最常用的开源MapReduce模型之一.程序运行时间的缩短对于MapReduce程序以及所有数据处理应用而言至关重要,而能够准确估算MapReduce程序的执行时间是优化程序的重要环节.本文定义了一个在Hadoop2.x版本中能够准确估算MapReduce作业负载执行时间的性能模型.该模型包括一个优先级树模型与一个排队网络模型,分别用于展示一个MapReduce作业中不同任务之间的依赖关系及MapReduce作
其他文献
随着我国人民生活水平的不断提高,餐桌上肉蛋奶的消耗量不断攀升,国内的养猪市场不断扩大。在生猪养殖产业中,疾病是限制产业健康发展,影响养殖户年度经济效益的关键。生猪患
针对现有模糊聚类分割算法对噪声的鲁棒性差且提取的图像特征不充分等问题,本文提出了一种结合形态学重建和超像素的多特征模糊C-均值(FCM)分割算法.首先,利用形态学闭合重建处理原图像,提高了算法的鲁棒性和细节保护能力.其次,采用Mean-Shift方法预分割重建图像,获得一组超像素区域.再次,提取重建图像各像素的颜色特征、纹理特征和梯度特征,利用平均策略定义各超像素的颜色特征、纹理特征和梯度特征,组
随着5G时代的来临,诸如工业区,校园网等开放性园区网络中存在大量的物联网(Internet of Things,IoT)终端, IoT终端由于其数据流量巨大,伪造IoT终端进行网络攻击的问题日益严重.现有IoT终端识别技术在面对海量数据时计算资源的成本逐渐提高.针对以上问题,提出了基于文件分时索引的大规模流量实时IoT终端识别算法.首先,建立内存分时索引元数据;其次,使用文件的分时索引来存储构建会
【目的】研究不同红蓝光照时间对冰菜生长发育的影响,分析其生长发育规律。【方法】以冰菜为研究对象,以红蓝光为人工光源,在植物工厂及水培条件下,采用可循环营养液(EC2.8 d
【目的】研究加工番茄亲代与子代在不同生长时期叶片内源激素含量与植株生长指标的相关性,分析内源激素对植株生长发育的影响,为杂交育种中亲本的选择和选配、杂交后代的选育
仔猪断奶过程中由于多方面原因经常出现腹泻的情况,给仔猪的正常生长造成了十分不利的影响。文章首先分析了断奶仔猪腹泻的主要病因,研究了断奶仔猪腹泻的综合防控措施,以期
随着我国畜牧业的发展,促进我国经济的不断提升,在我国畜牧养殖中,猪的养殖占据着重要的地位,同时为养殖户带来巨大的经济收益,推动了我国畜牧养殖的发展。在猪的养殖过程中,
为解决因手写书法作品种类繁多而识别困难的问题,降低人们观赏书法的门槛,本文提出了基于深度学习的手写书法字体识别算法.识别过程中首先使用投影法等图像处理方法对书法作品图像中的汉字进行定位和分割,然后分别利用GoogLeNet Inception-v3模型和ResNet-50残差网络进行书体风格识别和字形识别.实验结果表明,本文算法能实现对整幅书法作品中楷书和篆书的书体风格以及字形的识别,对楷书和篆书