云环境下科学工作流的中间数据复制与布局策略研究

来源 :武汉理工大学 | 被引量 : 4次 | 上传用户:zous111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学工作流是对大规模科学实验进行自动化完成的过程。作为一种数据密集型应用,科学工作流已被广泛用于处理和分析科学研究中的大规模实验数据。由于云环境可提供科学工作流执行需要的计算与存储资源,越来越多的科学工作流开始部署到云环境下。但是,科学工作流部署在云环境下也面临着诸多挑战。首先,科学工作流执行过程耗时较长,怎样提高科学工作流的执行性能是面临的挑战之一;其次,云计算采用按需计费的计算模式,在云环境下部署科学工作流的费用开销也是需要考虑的问题;另外,云环境允许多用户共享资源,如何保证云环境中数据的安全也是亟待解决的问题。针对科学工作流部署在云环境下面临的挑战,本文的主要研究工作如下:1、结合多个科学工作流应用的中间数据频繁使用造成的执行效率低下问题,提出了一种中间数据副本放置策略来有效地提高多个科学工作流的执行效率。首先,该策略根据中间数据的使用频率阈值来选择中间数据进行复制;然后,根据各中间数据的大小对复制的中间数据设置不同的副本个数;最后,以数据传输时间为主要目标,使用遗传算法对中间数据副本放置问题进行求解,保证科学工作流执行效率的前提下兼顾全局负载平衡。2、针对多个科学工作流应用部署在云环境下面临的费用开销问题与执行效率问题,提出了一种成本感知的科学工作流中间数据复制策略,保证执行效率的同时最小化副本的放置成本。首先,对多个科学工作流的执行效率问题与副本放置成本问题进行分析建模;其次,将数据传输时间作为主要目标,放置成本作为次要目标,使用遗传算法求解成本感知的中间数据复制问题,从而在保证科学工作流执行效率的前提下有效地减少副本的放置成本;最后,以数据传输时间与副本放置成本作为评价指标,通过仿真实验与其他类似策略进行比较,验证其有效性。3、针对科学工作流部署在云环境下面临的布局成本问题与数据安全问题,提出了成本感知的中间数据布局策略,在保证数据安全的前提下减少布局成本开销。该策略首先介绍了科学工作流中间数据的安全模型与数据放置成本;然后,以数据安全与数据布局成本为目标,提出了基于蚁群算法的数据布局策略;最后,通过与同类策略进行对比与分析,验证本文策略在保证数据安全与减少布局成本方面具有一定的优势。总之,本文通过分析科学工作流部署到云环境下面临的性能、成本、安全问题,针对科学工作流中间数据副本的放置、中间数据的复制策略及中间数据的布局进行优化。本文研究在一定程度弥补了在云环境下数据复制与数据安全方面研究的不足,尤其是针对多个科学工作流如何考虑经济成本感知的中间数据复制的研究。
其他文献
在网上开展远程教学突破时空限制,为广大学习者提供了极大的方便。课件制作平台是远程教学系统的一个重要组成部分,它主要实现教师音视频和教学内容的合成,为后期在网络上发
随着时代的发展和科技的进步,信息资源日益膨胀。得益于全文检索技术的不断发展与成熟,使得我们能够更高效的检索和利用绝大多数信息资源。但有些信息资源,因其高安全性要求需加
软件复用是提高软件产品质量和软件生产效率的有效途径。随着软件复用实践的不断深入,软件组件库作为支持复用的一项重要基础设施,得到了产业界和学术界越来越多的重视。但在基
本文对体绘制技术进行了深入研究,介绍了它的产生背景和应用领域。与传统的面绘制技术相比,体绘制技术具有明显的优势,因此成为计算机图形学的一个发展热点。由于体绘制技术
软件测试是保证软件质量和软件可靠性的重要手段,但随着软件规模的不断扩大,复杂度的不断提高,以及面向对象程序设计方法和工具的使用,软件测试的难度也进一步加大,测试质量更加难
本文介绍了一个远程监测系统的具体设计,该远程监测系统的主要目的是为了实现对分散于宝钢厂区内各个远程机房的动力和环境进行监测。远程机房监测系统以企业主干网为依托,采用
使用单一的一种生物特征的生物特征识别系统通常会遇到传感器噪声,采集对人的限制和错误的拒识等的影响。由于这些原因,改进单一的匹配方法的尝试显得效果并不理想。多生物特
国内外学者都对基于一维高分辨距离像的目标识别进行了广泛研究,但进行目标识别必须对获得的目标数据特性有深入研究,这已成为有效利用目标数据特性实现高性能目标识别的关键
近些年来,疲劳驾驶在道路交通伤害中所占的比重越来越大,也越来越得到人们的重视。但是目前疲劳驾驶检测系统在我国并未得到普及,所以致力于研究一种有效性高、实时性好、自适应
随着Internet/Intranet的快速发展和普及,丰富的Web资源构成了一个巨大的全球信息仓库。一方面,Web信息数量庞大,门类齐全,几乎任何信息都可以在Web上找到;另一方面,相对于海量的We