论文部分内容阅读
近年来,边缘计算已经成为了下一代网络研究中最为瞩目的技术亮点,边缘计算为许多诸如虚拟现实,自动驾驶,深度学习等新兴的计算密集型应用提供了强有力的计算力保证。这些新型的计算应用的发展也对计算性能提出更高的要求。MapReduce是一种专门为大规模并行数据处理设计的分布式计算框架。在边缘计算中通常可以采用MapReduce框架在多个边缘服务器上分布式处理各种类型的计算任务。更进一步,编码MapReduce框架利用编码技术与冗余计算资源通过调整计算负载可以对服务器之间的通信负载进行优化。随着近些年计算应用对于低时延的需求日益强烈。边缘服务器之间的大量通信负载成为提高计算性能的瓶颈,并且边缘计算资源具有时变特征。如何通过计算负载调度充分利用动态变化的冗余计算资源来提高计算性能,如何对边缘服务器之间通信负载进行优化。以此为动机,本文开展了对面向编码MapReduce的通信有效计算负载调度的研究。首先,本文研究了单任务场景下通信有效计算负载调度算法。对于可以预先获知整个时间范围内可用计算资源状态的离线情况,将通信负载的调度算法转化为优化问题,利用最优性条件对计算重复因子和计算任务量进行解耦,将联合优化问题转化为凸优化问题,然后通过增广拉格朗日乘子法,本文得到了离线情况下的计算负载调度方法。对于只能获知当前计算资源状态的在线情况,本文利用竞争分析的方法得到在最差情况下具有性能保证的在线算法。进一步利用历史计算资源状态信息通过学习的方式提出了改进的在线算法。接着,本文将场景扩展到多个时延约束任务场景下的通信有效计算负载调度算法的研究。每个计算任务都有各自的到达时间和完成截止时间。因此通信负载的优化问题会变得更加复杂。对于可以预先获知整个时间范围内可用计算资源状态的离线情况,通过最优性条件将计算重复因子与计算任务的关系进行解耦转化为凸优化问题,并且通过解析得到最优解具有类动态注水性质,设计了筛选解平面的算法,最终本文得到了离线情况下的计算负载调度方法。对于只能获知当前计算资源状态的在线情况,本文对离线计算调度方法进行分析,提出与离线调度方法结构类似的在线算法,通过历史信息预测未来的计算资源状态进行计算负载调度。最后,本文搭建了编码MapReduce计算负载算法验证平台,包含计算资源初始化、编码MapReduce初始化、计算负载调度等模块,完整的实现了编码MapReduce框架以及计算负载调度功能。将本文提出的计算负载调度算法应用在分布式计算中常用的测试任务TeraSort中去,最终仿真结果验证本文提出的计算负载调度算法显著优化了编码MapReduce的计算性能。