【摘 要】
:
数据密集型工作流的任务之间需要传输大量的数据并进行复杂的计算,这就要求运行该工作流的计算资源计算能力强、存储量大,但单一的计算资源一般满足不了数据密集型工作流的运行需求,往往需要将数据密集型工作流中的任务部署在云环境中不同的数据中心,而相关任务分布在不同数据中心产生的大量数据传输,对工作流的执行费用和执行时间均产生了较大影响,只有合理的调度方法才能尽可能的减少传输量,从而降低执行费用和时间。现有静
论文部分内容阅读
数据密集型工作流的任务之间需要传输大量的数据并进行复杂的计算,这就要求运行该工作流的计算资源计算能力强、存储量大,但单一的计算资源一般满足不了数据密集型工作流的运行需求,往往需要将数据密集型工作流中的任务部署在云环境中不同的数据中心,而相关任务分布在不同数据中心产生的大量数据传输,对工作流的执行费用和执行时间均产生了较大影响,只有合理的调度方法才能尽可能的减少传输量,从而降低执行费用和时间。现有静态调度方法中任务间数据传输量是确定的,大多未考虑到难以准确对具体传输量进行预估的情况,而工作流任务间的具体传输量仅能在工作流执行期间相关任务执行结束之后才能确定,这使得大多假定数据传输量已知的传统静态调度方法不再适用,但现有动态调度方法也鲜有针对数据传输量的优化。针对以上问题,本文提出了面向不确定数据密集型云工作流的调度方法,主要工作有:(1)针对任务间数据传输范围可以预估的不确定数据密集型工作流提出了面向不确定数据密集型云工作流的静态调度方法:根据每个数据中心的可执行任务列表及数据传输关系,得到所有的任务连通分支,将数据传输密度大的连通分支优先调度在对应的数据中心,直至所有的任务调度完成。实例验证了所提出静态调度方法的有效性。通过不同参数的实验对比,发现静态调度算法相较于其他方法可以有效减少工作流的总体数据传输量。(2)针对部分任务间数据传输范围无法预估的不确定数据密集型云工作流提出了面向不确定数据密集型云工作流的动态调度方法:首先基于已知的各任务之间预估传输范围对工作流进行预处理,根据预处理结果将入口节点任务进行调度,调度完成后随着工作流的执行,将后续待调度任务调度在节省预估数据传输值与实际数据传输值之和最大的数据中心。接着通过实例验证所提出动态调度方法的有效性。通过不同参数的对比实验结果表明提出的动态调度算法可以有效减少工作流的总体数据传输量。(3)设计并实现了不确定数据密集型云工作流调度仿真系统。根据调度需求分析了工作流调度系统应有的功能,从而对系统有整体的设计。工作流调度系统中的工作流生成模块可以根据用户输入生成符合需求的工作流,调度模块可以根据用户选择的调度方式对已有的工作流进行调度,调度结果用图表的形式向用户直观进行展示。
其他文献
微电子器件自出现以来就受到了人们的广泛关注,研究中发现,微电子器件在使用时会根据所选参数的不同而呈现出单周期、多周期或混沌等丰富的非线性动力学现象。本文基于极限学习机(ELM,Extreme Learning Machine)算法针对两种典型的微电子器件——Duffing振子和约瑟夫森结进行了非线性动力学的相关研究。具体工作如下:第一,我们对Duffing振子动力学状态的识别方法进行了研究。Duf
随着信息技术及互联网环境的不断发展,随之而来的信息过载问题亟待解决,常见的数据稀疏以及冷启动问题都在一定程度上影响了推荐质量。现有的大部分推荐算法更偏向于物品信息的考虑,而往往忽略了用户信息,同时更加侧重于挖掘用户与物品之间的静态相关性,但忽略了随着时间的推进而导致的用户兴趣的衰减以及偏好的动态变化,从而无法实现理想的效果。为了解决以上问题,本文提出了基于双端知识图的用户偏好推荐模型,主要研究内容
近年来,针对综合能源系统的信息物理协同攻击事件时有发生,严重影响了系统的安全经济运行,因此考虑信息物理协同攻击的攻防策略对综合能源系统优化调度的影响具有重要意义。本文针对气-电混联综合能源系统,研究了攻击者视角下计及负荷重分配攻击与破坏供能网络的物理攻击协同的最优攻击策略,以及防御者视角下计及系统备用容量和替代负荷的最优防御策略。主要内容如下:(1)研究不计攻击的气-电混联系统优化调度策略本文采用
为了降低生产成本、监测过程状态、提高生产效率、优化产品质量,工业过程中关键质量变量的实时测量与预测十分重要。对于复杂的工业生产环境,以及硬件传感器无法或难以测量关键质量变量的问题,软测量方法通过构造以过程变量为输入,质量变量为输出的估计模型,间接估计预测关键质量变量。由于其易于开发、配置灵活、响应速度快等优点,在学术上和工业上得到了迅速地发展和有效的实践。本文的主要研究内容如下:(1)针对工业过程
针对大尺度结构进行损伤的监测与安全评估,及时地确定安全隐患,组建一套面向于大型结构的损伤诊断系统尤为重要。大尺度结构即为大型工程结构,由于使用范围广泛,材料面积大,在大型工程结构上进行损伤监测不仅使监测设备繁琐,而且信号的处理难度更加困难。本文研究主要是针对大型复合材料板损伤的情况下,从Lamb损伤监测机理方面入手,设计最简三角稀疏阵列并且提取Lamb波在典型损伤上的多特征参数,利用机器学习建立损
近年来,由于人工智能和互联网技术的迅速发展,单个智能体已经不能解决大规模、复杂和不确定信息的现实问题。因此,多智能体分布式协同控制成为控制领域热点关注的课题。由于通信时滞和量化噪声等复杂通信因素的影响,多智能体系统的协同控制设计的难度极具增大。因此,复杂通信环境下的多智能体系统的分布式协同控制引起了广泛关注。本文研究了具有连边乘性不确定的连续和离散多智能体系统鲁棒一致性和具有通信时滞不确定的二阶严
微流控光学透镜具有可灵活调节焦距、能在一微型芯片中同时实现微流控分析和光学检测、简化透镜尺寸等特点,所以目前它在光学相关领域得到了广泛的关注和研究。其中,具有双界面的微流控光学透镜,由于其双界面的曲率均可按照需求进行独立调节,并伴随有大的光焦度的改变,具有重要的研究意义。本课题采用组合形式,基于介电润湿力、介电泳力、纵向梯度静电力三种不同的驱动力,实现双凸型微流控光学透镜,并对透镜的相关性能进行分
如今出现了很多网上房屋租赁应用,但目前的互联网房屋租赁应用还存在着一些典型的问题:目前的房屋租赁应用仍然是一个中心化的系统,系统所有的数据都被其控制,存在着信息不对称的问题;房屋租赁数据的真实性有待提高,目前仍然存在着很多虚假房源的情况。因此如何实现房屋租赁应用的去中心化管理以及提高房源数据的真实性是目前需要解决的问题。区块链的去中心化以及防篡改特性为房屋租赁应用提供了新的设计思路。为了真正实现去
情绪识别是计算机视觉领域近几年来研究较多的课题。目前的研究成果主要集中在仅基于面部表情的情绪识别或仅基于身体动作的情绪识别方面,但这些单模态的情绪识别算法泛化能力并不强,并且准确率也存在提高的空间。为了提高情绪识别的准确率,本文对基于多模态特征融合的视频中人物情绪识别算法进行研究,重点研究如何综合运用面部表情特征和身体动作特征来进行视频中人物情绪的识别。首先,以提高情绪识别的准确率为目标,设计了一
随着信息系统的广泛应用,数据系统内的数据同步问题日益突出。如何以安全高效的方式实现系统内的数据同步,已成为企业广泛关注的问题。为了增强数据的连通性,减少“信息孤岛”问题,数据同步显得尤为重要。同时,目前的研究往往集中在数据传输过程,而普遍忽略了数据同步后的验证模式。对于数据是否被篡改、敏感信息是否泄露、数据完整性等问题的忽视,导致了完整同步链的潜在缺陷。本课题针对现有数据系统同步方案中的缺陷,利用