数据密集型批处理工作流的任务调度与虚拟机整合

来源 :天津科技大学 | 被引量 : 0次 | 上传用户:feidog
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算技术给大数据工作流的处理提供了新的技术支持和发展契机。数据密集型应用是大数据背景下最普遍的应用之一,由于数据量大、带宽瓶颈等条件的限制,因此通常将同一类型的多个工作流实例进行合并处理形成批处理工作流进行工作流调度来提高执行效率,但数据通信往往是数据密集型应用的性能瓶颈,再加上许多工作流的应用存在时间约束问题,因此合理的调度策略对于时间受限的数据密集型批处理工作流尤为重要。合理的调度策略不仅可以有效减少跨节点的数据传输,而且可以优化工作流的整体执行效率和资源租赁成本。本文在借鉴前人工作的基础上,围绕数据密集型批处理工作流的任务调度的整体执行效率和资源租赁成本和相关技术进行了探讨与研究,为了解决跨节点的数据传输量、整体执行效率和资源租赁成本优化问题,本文从以下三个方面进行了研究:一是虚拟机类型初始化分配。本文提出整数规划算法,通过对虚拟机类型问题进行整数规划建模,并利用CPLEX方法进行虚拟机类型最终求解,进而确定任务初始化虚拟机类型、合适的任务执行时间以及获得较好的性价比,然后提出改进的局部任务的关联度聚类算法,使数据传输频繁的任务作为整体进行后续调度,以优化全局数据通信。二是工作流截止期划分。提出一种迭代式的考虑任务偏序关系和时间间隙的任务截止期生成方法,通过合理分配时间间隙完成工作流截止期的划分,为后续的调度的任务提供更大的调度空间,进而解决数据密集型应用的数据传输瓶颈和截止期优化问题。三是虚拟机租赁成本优化。在以上两方面的基础上,考虑已租赁的时间片剩余时间间隙的分配、虚拟机成本和任务的执行效率等方面提出加权融合MFA任务调度算法进行成本的优化。在此基础上,提出考虑右移策略的RMFA算法,在处理数据密集型批处理工作流时能够更好的提高执行效率和降低租赁成本。从以上三个方面实现数据密集型批处理工作流的高效率和低成本调度。本文的研究成果可以为大数据环境下的数据密集型批处理工作流的研究提供综合的技术参考。
其他文献
在以人为本、以创新人才培养为目标的现代教育教学理念下,教育者致力于使每位学习者获得个性化学习体验并得到充分发展。在我国的学校教育中,生师比较高,教师难以关注每位学生,并为其提供个性化学习指导。基于计算机的认知诊断测试可以通过诊断学生的认知结构,为其提供个性化的补救学习服务。认知诊断是个性化学习的基础,规则空间模型是认知诊断的有效方法之一。但规则空间模型通常需要大量样本进行参数估计才能获取较为准确的
现代高速铁路上跨过大江大河的传统铁路桥,高速公路出入的匝道所修建的立交桥,城市内为了缓解交通压力修建的高架桥及过街天桥,横跨长江、黄河的大跨度桥梁以及海湾、海峡等
本文从“一带一路”的现实背景出发,指出中国的特殊发展阶段和特色制度环境决定了中国企业的对外直接投资受到政府和政策引导的影响。本文就政治关联对企业对外直接投资绩效
微弱信号不仅是指幅度非常小的信号,也指存在于噪声背景下的信号。微弱信号检测技术的应用范畴遍及通信、雷达、磁学、振动测量、医学等研究领域。在实际的工程应用领域中,因环境比较复杂且噪声的形式多种多样,这时传统的微弱信号检测方法就会失效,于是当务之急是寻找一些新的微弱信号检测方法。根据混沌理论可知,混沌系统具有对微弱信号十分敏感且对噪声免疫的特点,使其在信号检测时具有很大的优势,于是利用Duffing振
语法是英语学习的基本要素。然而对二语学习者来说,语法的学习是语言学习过程中最困难的环节之一。近二十年来,越来越多的研究者和语言教师注意到语料库在语言教学中的巨大潜力。在此背景下,以语料库为基础的数据驱动学习法应运而生。然而,根据以往的文献,语料库在教学中的实证研究大多集中在大学阶段,尤以词汇教学为主。针对较低年级学生的语法教学方面的实证研究相对较少。本研究运用笔者自建的专门针对高中学生水平的语料库
植筋技术作为一种锚固技术广泛应用于建筑结构的改造、加固、扩建领域。现阶段对植筋构件的研究以拉拔和承受静力荷载时的力学性能研究为主,对植筋构件处于复杂应力状态下的
目的:探讨超声实时剪切波弹性成像(Shear Wave Elastography,SWE)联合常规超声(Ultrasonic,US),诊断良恶性甲状腺结节的价值。提供准确的影像学依据给临床诊疗及治疗的需求,方法:选择2019年5月-2019年9月在新疆医科大学第一附属医院收治的甲状腺结节患者35例,总共80个结节,其中男性患者13例,女性患者22例,年龄31-61岁,平均(47.89±8.789)
CuInS_2作为一种半导体量子点材料,由于其特殊的光学性质,在太阳能电池、LED、生物荧光探针等领域得到应用,现阶段CuInS_2在光纤应用以及1.2-2.4mm波段的光学性质研究较少,本文针对CuInS_2量子点在光纤应用方向进行了创新性研究,基于CuInS_2量子点涂层的单模光纤(Single Mode Fiber,SMF),从理论与实验两个方面展开,主要创新点以及研究内容为以下几个方面:(
目的:针对脂肪肪源间充质干细胞对移植后造血干细胞的归巢作用及对组织修复支持的初步探索。方法:严格无菌条件下获取C57BL/6雄性小鼠脂肪源间充质干细胞(Adipose-derived stem cells,ADSCs)、骨髓间充质干细胞(Bone Marrow Mesenchymal stem cell,BMSCs)及小鼠胚胎制备成纤维细胞,培养至第三代后观察细胞形态。行ADSCs的成脂及成骨诱导
中国古代义庄作为一种特殊的慈善组织以救济同族为基础,在封建社会的福利事业中发挥着着敬宗睦族、维系社会稳定的重要作用。古代义庄是由起经济支撑作用的义田、教育功能的义学以及具备睦族功能的义宅三大部分所组成,封建社会时期宗法宗族制为义庄的产生提供了政治基础;土地私有制为义庄的创办提供了经济基础;而传统伦理则为义庄的发展提供了思想基础。隋唐时期宗族救济族众之风盛行,但未能形成固定的组织机构;而在北宋时期范