云计算环境下GIS空间分析任务调度策略研究

被引量 : 0次 | 上传用户:coosmic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学技术的进步带动了信息获取手段的发展,人们获得的空间数据也大幅增多。如何能够充分、有效地利用这些空间数据,是学术界和商业界都在积极思考的问题。并行计算对于提高大规模任务处理速度非常有效,而并行计算系统性能的好坏很大程度上取决于其任务调度,好的任务调度策略不但能够提高任务响应速度和系统吞吐率,也能提高整个集群资源的利用率。因此,对并行计算环境下GIS数据空间分析的任务调度技术进行研究具有很重要的现实意义。云计算是当前炙手可热的并行计算,其开源的分布式并行编程框架Hadoop实现了MapReduce并行编程模型,是目前已得到广泛应用的云计算软件平台。本论文对云计算Hadoop平台下GIS空间分析的任务调度问题进行了研究。主要研究工作如下:在GIS空间分析的并行化处理方面:以基于空间分析操作算子distance()(?)勺空间分析应用为例,用MapReduce并行编程模型实现了并行GIS空间分析编程。在并行GIS空间分析的任务调度方面:总结了云计算环境下任务调度的特点,分析了Hadoop自带的及其他一些常见的调度策略的优点和不足,并通过进一步的探索,提出了基于数据局部性的改进FIFO调度策略。在论文的最后,搭建了Hadoop实验平台,并使用WKT格式表达GIS几何对象,使用CSV文件中的单行表示GIS数据类型,使之适用于Hadoop平台。通过实验对Hadoop处理GIS空间分析作业的性能、以及改进调度算法的性能进行了验证。实验结果表明:Hadoop在处理大型GIS空间分析作业时表现出优于单机环境的性能;本文提出的基于数据局部性的改进FIFO调度算法能使节点的数据本地性得到提高,进而减小通信代价,提高作业的平均响应速度,减少作业的整体执行时间。
其他文献
禽流感不仅对养禽业造成了沉重打击,而且给人类健康带来了严重威胁。今年五月初在我国青海湖发生了斑头雁、棕头鸥等品种候鸟的成批死亡,我校刘金华教授等前往发生地进行了临
会议
历史问题情境的创设,建立在思维过程性、创新性、问题性和主体性的心理学基础之上。历史问题情境是由新的、未知知识,学生主体认知需要与学生主体认知可能性等要素构成。历史
国内营销渠道管理研究状况随着市场竞争程度的激烈和竞争水平的升级,企业的学习能力也逐渐增强,原有的只通过产品、价格和促销手段来获取竞争优势日趋艰难。渠道营销成为企业提
随着我国市场经济体制改革的不断深化和资本市场的快速发展,我国上市公司无时无刻不面临着财务风险的威胁,不管是投资活动、筹资活动还是现金流量运作,由于市场竞争的加剧或公司
本文介绍了共挤出吹塑成型技术。详细比较了共挤出、化学处理、共混聚合物层状加工技术、双向拉伸吹塑成型及涂复等不同阻渗技术制造的产品。阐述了流变特性以及共挤出机头、
对外汉语教材编写中有两个重要问题:怎样选择词汇和如何处理词汇。频率、覆盖面和构词能力是选择词语的基本依据。今后的对外汉语教材编写必须在词语的选择控制、呈现方式和
着力发展现代农业,既是全面建成小康社会、实现现代化的重要基础,也是提高农业综合生产能力、增加农民收入、建设社会主义新农村的必然要求。大数据时代已经来临,农业农村是
纵观农药发展史,随着环保意识的提高及可持续发展的需要,对农药剂型的要求越来越高。
介绍了乙烯裂解炉的结焦机理、影响结焦的主要因素和抑制炉管结焦的主要技术。
<正> 颤振、振掉、头摇,古之称;震颤,今之名也,是一种老年期的常见疾患。故王肯堂说:“颤振,……此病壮年鲜有,中年已后乃有之,老年尤多。”一般多在五十岁以后,缓慢发病,头
期刊