云存储系统资源调度技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kong26
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云存储服务的日益普及,人们对云存储系统的服务质量、使用成本以及温室气体排放等方面提出了更高的要求。云存储系统是一个具有多数据中心、多种资源、多个数据对象(包括文件、视频、图片等),且服务于多个用户的复杂系统,其资源调度技术是研究如何通过副本放置和带宽分配等手段,实现提高服务质量(包括数据可靠性、带宽供应以及访问局部性)、降低服务成本以及降低二氧化碳排放等目标。为了实现上述目标,云存储资源调度技术需要解决三个难点问题:(1)缺少完善的数学模型来描述资源调度、服务成本、二氧化碳排放和服务质量之间的关系,因此也就难以有针对性的提出有效的资源调度方案;(2)云存储系统较为复杂,由其抽象而来的数学模型一般都是NP难问题,这增加了调度算法的设计难度:(3)系统中的数据对象太多,极大的增加了调度算法的运行时间。在本文的研究工作中,将克服这些难点问题,最终给出合理的解决方案。研究云存储系统资源调度技术需要对用户的访问流量做出准确预测,因此利用时间序列理论中的ARIMA和GARCH模型,实现一种文件下载系统中的流量预测方案,该方案能够准确预测各个文件未来时段内的下载流量。随着视频点播应用被逐步迁移剑云平台上,针对视频点播应用的云存储资源调度技术成为部署大规模视频数据的关键问题。解决该问题的过程共分两个步骤,一是建立数学模型,二是对模型的求解。首先针对多视频频道,多观影用户,多数据中心的系统架构,建立数学模型以描述资源分配、资源费用以及服务质量等要素之间的关系,并通过理论证明对该模型求解是NP难问题。因此,为了获得该模型的解,提出一种分布式算法——DREAM(-L),为分配下载带宽、放置频道副本等问题提供解决方案,使得在云存储系统中的视频点播应用能够以较低的费用满足数据可靠性、带宽供应、访问局部性等服务质量需求。为了优化更多的云存储应用,需要提出更为通用的云存储系统资源调度技术。一方面,扩展此前提出的数学模型和算法,增加上传带宽的分配方案,并优化数据更新开销。另一反面,当系统中需要优化的数据对象大幅增加时,很多资源调度算法的运算时间过长,无法在有效时间内完成资源调度任务。为了提高资源调度算法的运行效率,提出数据对象分组技术,该技术使资源调度算法的运行时间不随数据对象数目的增加而增加。实验结果表明,数据对象分组技术能够保证调度算法在常数时间内完成运算。为了降低云存储系统的二氧化碳排放量,提出了与碳排放相关的云存储系统能耗模型。再利用二氧化碳排放强度这一参数,把能耗模型转化为碳排放模型,并针对碳排放模型提出了对应的分布式求解算法,该算法在满足各种服务质量的前提下,能够尽可能降低系统能耗,并把应用负载调度到二氧化碳排放强度较低的地区,以达到降低二氧化碳排放量的目的。
其他文献
政府的非税收入是指除税收以外政府取得的财政性资金,主要包括行政事业性收费、专项收入、国有资本经营收入和国有资源(资产)有偿使用收入、罚没收入、其他收入.中国的财政收
期刊
文化创意产业背景下中国高校设计专业创意人才培养的现状,存在着许多问题,设计专业创意人才的培养如何对应文化创意产业的社会需求,制订出具体的设计专业创意人才的培养教学
【正】 一、李大钊同志在北大受聘教授情况关于李大钊同志在北京大学受聘教授时间,过去有始自一九一七年和一九二○年的不同说法。现据北大评议会的记录,已知北大决定延聘李
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
作为一个影响因素多样的非线性系统,股票市场的可预测性是金融学术界始终关注的焦点,预测模型层出不穷。本文在BP神经网络模型的基础上,结合主成分分析和遗传算法对工商银行
目的探讨血管再生方对血栓闭塞性脉管炎(TAO)气虚血瘀证的治疗效果,寻求一种治疗TAO气虚血瘀证的有效方法。方法将100例患者随机分成2组,各50例。治疗组内服血管再生方(由黄芪、
目的探讨经眉弓入路微创治疗前颅底和鞍区病变优点与疗效。方法回顾性分析该院2009年1月至2012年1月行眉弓入路微创治疗前颅底和鞍区病变28例(治疗组),与经额入路治疗26例(对照组
在这个信息和网络发展迅速的时代,对电子商务专业人才的需求量也越来越大,同时培养电子商务专业人才也是现代职业教育中的重点工作。在我国经济和信息化技术水平不断提升的前
当今大规模分布式存储系统采用冗余存储的方式来维持数据的可用性。冗余信息产生方式有复制和纠删码。纠删码相对于复制,因提供相同的容错能力所需的存储开销大大降低,而被越