面向编码MapReduce的通信有效计算负载调度研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:crm888crm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,边缘计算已经成为了下一代网络研究中最为瞩目的技术亮点,边缘计算为许多诸如虚拟现实,自动驾驶,深度学习等新兴的计算密集型应用提供了强有力的计算力保证。这些新型的计算应用的发展也对计算性能提出更高的要求。MapReduce是一种专门为大规模并行数据处理设计的分布式计算框架。在边缘计算中通常可以采用MapReduce框架在多个边缘服务器上分布式处理各种类型的计算任务。更进一步,编码MapReduce框架利用编码技术与冗余计算资源通过调整计算负载可以对服务器之间的通信负载进行优化。随着近些年计算应用对于低时延的需求日益强烈。边缘服务器之间的大量通信负载成为提高计算性能的瓶颈,并且边缘计算资源具有时变特征。如何通过计算负载调度充分利用动态变化的冗余计算资源来提高计算性能,如何对边缘服务器之间通信负载进行优化。以此为动机,本文开展了对面向编码MapReduce的通信有效计算负载调度的研究。首先,本文研究了单任务场景下通信有效计算负载调度算法。对于可以预先获知整个时间范围内可用计算资源状态的离线情况,将通信负载的调度算法转化为优化问题,利用最优性条件对计算重复因子和计算任务量进行解耦,将联合优化问题转化为凸优化问题,然后通过增广拉格朗日乘子法,本文得到了离线情况下的计算负载调度方法。对于只能获知当前计算资源状态的在线情况,本文利用竞争分析的方法得到在最差情况下具有性能保证的在线算法。进一步利用历史计算资源状态信息通过学习的方式提出了改进的在线算法。接着,本文将场景扩展到多个时延约束任务场景下的通信有效计算负载调度算法的研究。每个计算任务都有各自的到达时间和完成截止时间。因此通信负载的优化问题会变得更加复杂。对于可以预先获知整个时间范围内可用计算资源状态的离线情况,通过最优性条件将计算重复因子与计算任务的关系进行解耦转化为凸优化问题,并且通过解析得到最优解具有类动态注水性质,设计了筛选解平面的算法,最终本文得到了离线情况下的计算负载调度方法。对于只能获知当前计算资源状态的在线情况,本文对离线计算调度方法进行分析,提出与离线调度方法结构类似的在线算法,通过历史信息预测未来的计算资源状态进行计算负载调度。最后,本文搭建了编码MapReduce计算负载算法验证平台,包含计算资源初始化、编码MapReduce初始化、计算负载调度等模块,完整的实现了编码MapReduce框架以及计算负载调度功能。将本文提出的计算负载调度算法应用在分布式计算中常用的测试任务TeraSort中去,最终仿真结果验证本文提出的计算负载调度算法显著优化了编码MapReduce的计算性能。
其他文献
随着社会经济的发展,电力需求越来越大,而电力供应则发展迟缓,造成了电力供需矛盾的加深和电力管理模式的亟待优化。针对变电站运行管理模式的制度和技术两方面阐述变电站管
伴随着知识经济的发展,创意产业在经济中的地位得到了越来越多的国家的重视。究竟什么是创意产业,创意产业都包括哪些产业,创意产业的发展对我国是否同样重要,我国现在是否具备了
目的:探讨三维适形放疗联合B超引导下无水酒精腹腔神经丛阻滞术治疗局部晚期胰腺癌的疼痛效果,判断其安全性和可行性及患者生活质量改善情况。方法:应用单因素分析方法,回顾性
语篇的词汇衔接手段是语篇衔接手段中最直接的衔接手段,但是在对外汉语教学中,当学生的汉语水平达到中高级以后,他们所创造的单句基本没有语法或词汇上的问题。但是当一个一
1临床资料患者男性,67岁。因肛旁会阴部破溃、缺损、流脓1年余,于2016年2月6日就诊我院。患者1年前无明显诱因下肛旁红肿,局部皮肤破溃流脓,初破溃部面积较小,未予重视。后破
目的:探讨腹部超声对结肠肿瘤的诊断价值。方法:回顾性分析病理证实的39例结肠肿瘤患者,将腹部超声检查结果与病理诊断进行对比分析。结果:39例中,腹部超声检查诊断结肠癌31例,
本文以重庆市长寿为例,分析了农村环境保护的现状与问题,探讨了乡村振兴战略视域下改善农村环境保护的对策:提升宣传实效,落实共建责任;健全监管体系,强化专项整治;加强设施