论文部分内容阅读
近年来大数据迅速发展,对数据的高速处理能力要求也越来越高。工程师们关注的实际业务的同时,云平台的实际处理能力也受到越来越多的关注。目前,世界各大型互联网公司均推出自己的云计算平台,为自己同时对外提供服务。于此同时,国内政府研究机构也在搭建私有云平台,用于处理保密性高的数据分析业务。随着业务量的不断提升,云平台的各种问题也逐渐暴露出来,例如资源抢占,负载均衡,任务拥塞等问题。因此,如何进行任务调度和资源分配是当前云平台领域亟待解决的重要问题。本文提出一种以任务优先级、任务估计执行时间为依据的多任务并发调度策略生成和选择方法。设计和实现了云平台多任务并发调度策略推荐系统。该系统能够对PaaS云平台的作业进行合理的切分,并能够选择作业原子任务执行的最优资源配比进行资源分配,选择估计执行时间最小的节点执行作业的某一划分。除此以外,针对任务估计执行时间预测存在高误差的问题,提出基于决策树的误差修正方法修正预测误差。云平台多任务并发调度策略推荐系统的设计与实现针对单线程的任务在不同机器硬件型号的CPU、内存、网卡等因素下的任务执行时间分布测试;不同资源配比下的任务执行时间分布的研究。通过研究任务切分方法对平台长任务进行合理切分,避免单一任务长期执行占用资源的情况。通过多任务并发调度策略推荐模块主要是通过基于时间限的任务执行资源评估估计任务的执行时间,对单一原子任务计算其执行资源配比和资源量评估。通过相同的类型任务测评结果分析任务执行时间和执行资源使用量,并根据预设资源和任务执行时间预测作业的总执行时间结构建任务执行风险评估模型,计算任务的执行风险值。多任务并发调度策略推荐通过构建调度选择模型分析,然后通过蚁群调度算法和极小-极小调度算法分析生成任务调度策略。系统会自动选择优化调度策略给任务执行系统或平台运维人员。除此之外,系统通过机器学习方法学习历史任务执行时间结果优化任务调度策略任务执行时间预测模块,提高预测精度。最后,本文对云平台多任务并发调度策略推荐系统从任务管理、资源监测、镜像配置和监测、任务并发调度策略推荐等方面对系统进行测试。同时,根据系统实际执行结果验证本文提出方法的正确性。最终经过所有测试表明系统达到设计目标和性能要求。