基于多DAG模型的异构分布式系统任务调度策略研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:szfsdfsdfsfasF
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着通讯与计算机技术的飞速发展,由大规模分布式计算环境搭建的大数据中心平台在电子商务、工业控制、科学计算等领域都有着广泛的应用。其中任务调度策略的优良直接影响着系统的计算效率与质量。近年来针对单个DAG任务(有向无环图)在多个计算资源上的调度问题研究已基本趋于成熟。随着计算机技术的发展与用户需求的不断提升,多DAG共享一组异构计算资源的问题逐渐受到广泛的关注。其中调度公平性与可靠性等相关问题也成为研究的热点。因此本文针对异构分布式计算环境下的多DAG任务调度相关问题进行研究,主要工作与创新点如下:(1)针对多DAG任务调度时的公平性问题进行研究。提出一种针对已有经典公平调度算法Fairness算法进行改进的启发式公平调度算法IFairness算法(Improved Fairness),该算法在原算法基础上在选择待调度DAG阶段采用一种新的评判指标DAG完成度(Completion Degree)代替原有算法中的剩余Makespan作为DAG选择依据,此外,在计算每个DAG的滞后程度阶段,采用“向后看”一步的原则,解决了某些DAG在前期得不到调度的问题。仿真实验表明,该算法有效提高了调度算法的公平性及资源利用率。(2)针对任务调度中的可靠性问题进行研究。由于异构分布式系统中计算节点的计算能力以及故障概率都不一定相同,因此首先进行可靠性建模。综合考虑任务公平性、任务约束关系以及计算节点故障概率,本文提出一种以可靠性目标驱动兼顾任务公平性的多DAG任务调度策略可靠性公平算法(Reliable Fairness Algorithm),对资源进行充分利用,保证系统的高效性与可靠性。最后设计实验对算法性能进行仿真测试。(3)针对多DAG任务调度的可靠性、调度效率和公平性多目标协同优化问题进行研究。通过前面研究可知,已知任务及系统模型情况下,传统启发式调度算法所得出的结果并非最优解。因此本章提出一种基于布谷鸟算法的多目标优化任务调度算法(Multiobjective optimization based on cuckoo search algorithm,MOCSA)。首先对布谷鸟算法的内容进行介绍;然后对提出的算法进行设计,并给出算法核心代码;最后设计实验对算法性能进行仿真测试。
其他文献
重金属污染土壤的化学淋洗修复是一种将重金属从土壤中移除的有效技术,化学淋洗效率的高低不仅与淋洗剂种类有关,还与重金属在土壤中存在的化学形态直接相关。柠檬酸是一种很
随着互联网产业的飞速发展和网络带宽的不断提升,流媒体服务越来越受到互联网用户的欢迎,如何使得用户群体获得更好的服务是流媒体技术的发展目标。由于网络可用带宽受限或不稳定,流媒体的下载与播放过程中需要根据网络环境和用户本身的需求进行自适应控制,以保证用户能够获得最大的体验质量(Quality of Experience,QoE)。本文研究基于HTTP动态自适应流媒体技术,采用深度强化学习的方法优化Qo
现代无线通信技术的不断发展,一个移动终端满足多种通信标准成为了新的需求。支持多模式、多频段、多标准的移动终端需要不断进行研究和发展。频率综合器是无线收发机的核心
袁惠渠灌区作为中部省份江西省第二大引水灌区,是省内的农业出产、农副产品出产的重要基地之一,建成后在解决洪涝灾害、干旱缺水、水环境恶化当今三大水资源问题中发挥了不可
多电航空发动机是未来新型发动机的重要发展方向,磁悬浮转子技术是其发展的关键,而开展相关研究的关键在于磁悬浮轴承支承特性的确定。目前,关于磁悬浮轴承支承特性的研究大
在寒冷的冬季和刚进入春季时,下雨和下雪天,会对飞机的飞行造成重大的影响,大部分的乘客都遭遇过因为天气原因,飞机不能准时起飞或者直接取消。每到下雪的天气,机场的跑道路
随着社会信息化水平的提高,更多有用的信息以图像、视频的形式传播,图像中包含信息的提取就显得尤为重要。作为一种特殊且重要的信息来源,文本的检测与识别得到了广泛的研究
随着物联网广泛应用,用户对于室内高精度定位的需求与日俱增。因为局域网的无缝覆盖和智能终端的普及,基于Wi-Fi的室内定位备受关注。Wi-Fi定位主要是根据终端接收无线信号强度实现位置估计。基于机器学习的室内跟踪定位取得了米级精度的良好效果。但是,无线信号的波动使得无线定位模型不稳定。本文分析信号分布变化得出定位环境和测量终端是影响信号变化的主要因素。复杂的室内传播环境会导致接收信号强度时变,从而导
《裸颜》是英国文坛上一颗被忽视的明珠,它的问世曾一度让文学界重新认识了其作者C.S.路易斯。评论界对《裸颜》的解读一直方兴未艾,不仅仅是因为它蕴含哲理性和它刻画人性的
针对网络教育资源更新速度快,利用效率低等问题,根据教育资源推荐需要,研究了模糊预测控制算法,该算法在T-S模糊模型的基础上,融合了神经网络模型中的NeuMF模型,解决了教育资源推荐算法中的线性关系不足的问题,用该算法设计实现了教育资源推荐系统,达到了较好的教育资源推荐效果。主要研究内容如下:(1)模糊预测控制算法研究。分析模糊预测控制算法原理,研究该算法中最常用的T-S模糊模型,构建基于教育资源推