混合云环境下科学工作流中间数据布局策略研究

来源 :武汉理工大学 | 被引量 : 1次 | 上传用户:R_Edge
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学工作流这类数据密集型应用部署在混合云中,可以充分利用公有云资源的无限可伸缩性和广域分布性,扩展私有数据中心有限的资源提供能力,提高应用的执行效率,加快科研进程。由于科学工作流执行过程中产生的大量中间数据集需要被后继任务频繁使用,而且科学计算具有可重复性和结果复用的特点,使得有必要对中间数据集进行存储和布局。一方面,任务的分布性导致中间数据集不可避免地需要长时间的云间传输,降低科学工作流的执行效率;另一方面,公有云端资源按需付费的特点和安全性问题导致较高的成本开销和数据不安全行为。因此,如何在混合云中合理地布局这些中间数据集,实现低成本、高效率和高安全的科学工作流执行环境,是本文主要研究的问题。基于上述需要解决的问题,本文针对两种不同的混合云架构分别提出了3种不同优化目标的数据布局策略。主要包括以下内容:1.针对单云混合云环境中减少资源租用成本的数据布局问题,提出了一种成本感知的中间数据布局策略CRODP(Chemical-Reaction-Optimization-based Data Placement strategy,CRODP)。建立了从全局角度衡量数据存储和传输成本的成本模型,以及传输时间开销模型。将NP难的中间数据布局问题转化为以成本和时间为目标的组合优化问题,基于化学反应算法的思想得到布局方案。仿真结果表明,相比于聚类算法,CRODP策略能够显著降低成本。2.针对科学工作流应用更广地域的任务合作需求以及避免单云锁定和服务单一的问题,构建了多云混合云架构,并设计了相应的中间数据布局策略DPSDP(Discrete Particle Swarm Inter-Data Placement Strategy,DPSDP)。考虑到不同地域的云间传输的路径选择问题,以及不同服务提供商的存储服务性能和价格的差异性,建立合理的数据传输时间计算方法和数据存储的成本模型,实现了基于离散粒子群思想的布局策略。仿真实验对比了若干种布局策略在多云架构下的适用性。3.针对具有安全需求的中间数据布局问题,提出了全局安全满意度模型,并设计了安全约束的中间数据布局策略GASDP(GA-based Security-constrained Data Placement strategy,GASDP)。通过分析云端安全服务的提供方式和中间数据集的安全需求,在满足安全需求约束的条件下,以数据集放置在数据中心上的安全效益比和安全开销为依据,建立评价数据布局的安全满意度模型。然后,构造综合考虑安全满意度和传输时间开销的适应度函数,基于十进制遗传算法得出布局方案。仿真结果表明,GASDP策略获得高安全满意度的同时维持了较低的传输时间开销。总之,本文提出的三种不同优化目标的布局策略,通过在WorkflowSim仿真平台上进行实验和分析,验证了在时间、成本和安全性方面能够获得较优的效果。同时,文中也分析了目前工作存在的局限性,有待进一步地完善。
其他文献
本篇论文统计了2013年至2016年资金在A股二级市场上的举牌事件,采用事件研究法和多元回归统计的方法实证检验了资金二级市场举牌的市场反应及对上市公司绩效的影响。对于资金
深度学习是近十年来人工智能领域最重要的突破之一,基于深度卷积神经网络模型的人脸识别研究取得了显著的进步,开始进入工业应用阶段。但是,现有的基于卷积神经网络的人脸识
股票价格作为证券市场实现有效资源配置的基础手段,是证券市场发挥其最基本职能的关键。证券市场运用股价的信号机制引导资本进行有效配置,以获得最大的投资回报,其良好的运
近几十年来超疏水表面的研究发展迅速,相较之下从研究成果到实际应用的转化却非常有限,转化过程中仍然面临着成本高、产品耐用性不足等难题。本文工作基于仿生理论和表面浸润机理,选取两种低成本、高性能的常见疏水性树脂为基础材料,致力于制备出超疏水性高、实用性能好的超疏水表面材料。此外,当前超疏水材料研究中性能评价测试方法的不统一,使得科研成果之间很难进行比较,不利于学科的发展。基于此,本文对超疏水表面性能测
区域水权交易是解决我国目前水资源空间分配不均的最有效途径。我国在水权交易制度建设方面起步较晚,但一直处在积极探索阶段,区域水权交易案例逐年增多,特别是2014年水利部在七个省级区域开展水权交易试点以来,我国水权交易建设的步伐明显加快,但我国目前区域水权交易制度还存在很多不完善的地方,如法律法规不健全、水权定义不明确、纠纷处理机制不完善、价格体系不完整、监督管理制度薄弱、生态补偿机制缺失等,以上问题
近年来,智能交通系统作为一种高效的技术手段,被广泛应用于城市交通管理领域。实时、准确的交通信息能够辅助智能交通系统实现有效的交通管理与控制。实时掌握并准确预测交通流信息,满足智能交通系统对于交通信息的数据需求,可为城市路网运行效率和服务水平的改善提升提供良好基础。本文基于对城市道路短时交通流时空特性及其影响因素的分析,结合深度学习理论构建短时交通流预测模型,为城市交通管控提供实时准确的交通信息支撑
入侵检测只是工业控制系统中安全体系的起始部分。由于工业控制系统的重要性,工控领域内的重要的有关安全的决策必须由相关的工控安全专家做出。因此,简单的入侵警报在工控领域的安全系统中的作用非常有限。同时,由于模型缺乏可解释性,基于深度学习的入侵检测模型在发出入侵警报后,难以提供更多与入侵相关的线索,这大大限制了深度学习方法在工业控制网络入侵检测中的应用。为了解决上述问题,本文研究了有关的模型解释方法,选
随着中国经济进入新常态,政府大力推广“大众创新,万众创业”,而小微初创企业融资难的问题长期存在,对此传统融资方式有着难以克服的制度缺陷。随着近年来互联网科技的快速发
汉语反义复合词是由两个意义相反或相对的单音节语素构成的并列式复合词,例如“多少”“上下”“动静”等。古往今来,汉语反义复合词一直流传发展于汉语史的各个阶段,并被人们广泛使用,其结构和意义都具有独特性。前人对汉语反义复合词的研究主要集中于语义演变、语言教学等方面,为我们进行相关认知研究提供了一定的基础。但是这些研究大多同时诉诸隐喻、转喻和概念整合理论,未能用一个理论对汉语反义复合词语义生成进行统一地
电影文学剧本《沉山》取材自新闻报道,改编自真实刑事案件,讲述了由一具荒山碎尸引发的一系列事件。因重大过失被调职的秦武阳偶然发现了一具尸体,而这尸体正是与他关系暖昧