【摘 要】
:
随着异构多核并行编程的难度不断增大,人们迫切希望并行编程模型可以处理并能生成超大规模(TB级)数据集,以减少并行编程难度,提高异构多核系统开发速度。MapReduce是近些年新兴
论文部分内容阅读
随着异构多核并行编程的难度不断增大,人们迫切希望并行编程模型可以处理并能生成超大规模(TB级)数据集,以减少并行编程难度,提高异构多核系统开发速度。MapReduce是近些年新兴的并行编程模型,该模型主要用于实现并行计算中子任务划分、资源的调度、计算结构归约等,其为异构并行系统的大规模数据处理提供一个简单、有效的解决方案。然而传统的MapReduce调度算法存在任务响应时间过长,系统吞吐量大幅度下降的情况,从而影响整个系统的效率的提高。本文在对MapReduce并行编程模型深入研究的基础上,提出了一种适应于Hadoop平台的异构多核的MapReduce调度改进算法。主要工作如下:(1)针对MapReduce模型的调度问题,研究了影响MapReduce调度性能的三个主要因素:本地化、同步开销及公平性约束,并对处理这三个因素的调度方法进行分析。对MapReduce模型中同步开销问题的两种解决方法:异步处理和推测执行进行了探究。对于公平性约束,讨论了Hadoop的本地提升和延迟调度,以及Dryad的Quincy调度器。(2)结合异构多核环境的特性,针对基于典型MapReduce调度算法——LATE算法的不足,提出了一种MapReduce异构多核调度的改进算法,该算法通过在系统上添加使系统获得自动学习的能力——机器学习中的监管学习,随机提取部分工作任务作为测试任务,以获得处理节点的处理信息,进而得到任务处理的各个阶段的实际时间比,并调整程序的运行方式,从而启动备份任务,以提高任务响应时间。为了验证本文算法的有效性,本文在Hadoop平台基础上,对本文算法进行了实验,实验结果表明本文算法在任务响应时间上,优于LATE算法和Hadoop平台原有调度算法,有利于整个系统处理效率的提高,对异构多核并行计算具有一定的推动意义。
其他文献
<正> 心率变异性(HRV)和脑双频谱指数(BIS)在麻醉中的应用研究较多,但由于其所受影响因素较多,结果往往不一[1-3]。本研究旨在排除多种麻醉药和手术伤害刺激等的干扰,观察麻
2008年新《劳动合同法》颁布实施,使劳务派遣合法化,许多企业为规避责任,减少用人成本,都纷纷竞相效仿这一新型劳务派遣用工形式。随着此用工形式的不断发展,企业又基于成本最小化
产业是国家经济发展的根基,不同国家不同产业的发展路径是不一样的。根据政府实施的产业政策,马来西亚产业结构转型过程可以划分为三个阶段:重点鼓励劳动密集型工业发展阶段
目的探究前、后斜轴位磁共振T 2WI扫描在外踝韧带损伤诊断中的应用价值。方法选取2015年3月至2018年9月长垣县人民医院52例(均存在跟腓韧带和距腓前韧带损伤)外踝韧带损伤患
目的探讨原发性肾病综合征并发急性肾损伤的危险因素。方法回顾分析我院收治的肾病综合征患者128例临床资料,按照是否并发急性肾损伤分为AKI组和非AKI组,进行统计学分析。结
我国综合类大学留学生人数较多,可供留学生选择的专业优势明显,尤其是在中文、中医、书法、武术、中国历史等学科。由于综合类大学留学生多、中文水平高,对中国文化了解较多
17β-羟基类固醇脱氢酶(17β-hydroxysteroid dehydrogenase,17β-HSDs)是一类NAD(P)H/NAD(P)+依赖的氧化还原酶,其主要功能是参与性激素的代谢,通过调节细胞内甾体类激素水
类风湿关节炎(rheumatoid arthritis,RA)是一种慢性、系统性的自身免疫性疾病,迄今病因尚不明确,且缺乏针对其安全有效的治疗药物。由于B淋巴细胞在RA致病机制中的重要作用,
对新疆吐鲁番市艾维尔沟上游泉水沟附近水文地质条件的分析和判断,论证了艾维尔沟上游泉水沟泉水来自于河床潜流,为解决南山矿区生活用水提出了科学的依椐。
社会公正的思想源远流长,古今中外的学者们都对社会公正的问题做过专门的研究。自中国建立起社会主义市场经济体制以来,出于解决社会问题、构建和谐社会的需要,社会公正的研究成