Hadoop 延迟调度中延迟时间间隔的合理设置

来源 :计算机应用与软件 | 被引量 : 4次 | 上传用户:ljzhangxy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于Hadoop框架的云计算中,为减少数据迁移提高程序执行效率,延迟调度算法允许作业花费一定的延迟时间间隔等待某计算资源包含该作业待处理数据,而延迟时间间隔的选择往往是一个经验值。在分析了作业待处理数据在文件系统中的分布情况如何影响作业本地化调度的基础上,引入参数用户期望本地化概率,推导出等待时间的计算公式。该公式区分不同的作业,设置不同的等待时间,并且用户可以根据期望本地化概率这一参数来调控作业预期的本地化程度。对上述方法进行实验验证,结果表明:通过公式计算出的延迟时间能够使得作业达到用户预期的本
其他文献
自爷爷过世,已足有一年没有回去了。黄昏时分,我最后一次站在了家乡的田垄上。是夏,轻柔的风抚平所有将满未满的愁绪。晚霞将我的影子拉得好长好长,将我身后的小路散的好远好远。
在排列、组合问题中有一类平均或不平均分组、平均分配或不平均分配的问题,其方法总数的计算常常容易混淆.如
目的:观察电话随访干预模式对精神分裂症出院患者服药依从性和生活质量的影响。方法:选取2017年5月~2018年10月山东省精神卫生中心收治的92例精神分裂症患者为研究对象,将患
教师在日常工作中,往往会把大量的时间放在了品德不良的学生身上,从而疏忽了对“尖子生”的重视。直至“尖子生”做出了错事后,才引起我们的注意。一些教师在教育工作中,对待“尖
乘性噪声对弱GPS信号的检测与捕获具有重要影响。在分析乘性噪声的循环平稳特性的基础上,提出一种在乘性噪声条件下的弱GPS信号检测方法。首先通过本地产生的伪随机码与接收到的GPS信号进行位乘,以尝试性地消除伪码对GPS信号二阶统计量的周期性的影响;然后利用去伪码后的GPS信号的循环平稳特性估计GPS信号的载频,从而进一步地完成对GPS信号的检测。同时还提出了一种乘性噪声条件下的弱GPS信号检测结构,
通过对敦煌气候和其民航机场跑道荷载特点分析,为满足C类飞机起降要求,建议采用AB-90^#沥青作为SBS改性沥青的基质沥青。
采用盐/水介质分散聚合法制备了聚丙烯酰胺和预交联聚丙烯酰胺分散体系,通过扫描电镜(SEM)及动态光散射(DLS)技术对该两种分散体系中的高分子线团的微观形态及尺寸大小进行了研究
财政部、国家税务总局日前联合发出通知,对个人投资者征收个人所得税的有关问题作出明确规定。
互联网技术在现代社会非常流行。人们的生活和工作都依赖于这种技术。这是互联网时代的特点。在时代背景下,企业的战略方向发生了变化,相应的企业内部运营维护模式也需要调整