基于MapReduce的栅格地图切片系统

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:kevinstudy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,地理信息技术的飞速发展和空间遥感仪器分辨率的不断提高,使得地图应用领域不断扩大、栅格地图数据量急剧增长。现阶段WebGIS系统通常预先对栅格地图数据进行切片,并以瓦片金字塔形式组织栅格地图数据。当客户端访问WebGIS系统获取地图数据时,服务器端将预先切片完成的瓦片数据返回给客户端。传统单机式地图切片系统受限于单一节点的计算能力和存储能力,渐渐成为海量栅格地图数据处理技术发展的瓶颈。加快海量栅格地图数据的切片速度,对提高WebGIS的效率具有重要意义。云计算技术能够将数据和计算任务分散到大量计算机节点上进行管理,具备高可靠性和高可扩展性等特点。云计算技术提供了前所未有的计算能力和存储能力,为提高海量栅格地图数据的切片速度提供了新的基础平台。本文基于分布式计算框架MapReduce搭建了栅格地图数据切片系统,解决了海量栅格地图数据的切片问题。本文的主要研究内容和创新点如下:1.对现有分布式栅格地图切片系统关键技术进行了研究。指出了当前栅格地图切片系统的不足之处。针对海量地图数据的切片需求,设计了基于MapReduce的栅格地图切片系统。2.对HDFS的冗余备份机制进行了研究。提出了一种地图源文件拆分算法。该算法利用MapReduce的“本地计算”机制,能够减少地图切片过程中的网络数据传输,使切片任务在实际存储地图数据的节点上运行,降低了切片系统对网络带宽资源的依赖程度。3.对瓦片金字塔构建方案进行了研究。结合瓦片金字塔的模型结构,设计了一种利用瓦片缓存技术的瓦片金字塔构建方法。通过降低瓦片缩放时的计算量来加快瓦片金字塔的构建速度。利用金字塔内瓦片的排布规律,减少瓦片金字塔构建过程中的内存使用量。4.对海量数据下的瓦片金字塔并行构建技术进行了研究。结合MapReduce的应用特点,提出了一种基于MapReduce的迭代式瓦片金字塔构建方案。该方案将格式块文件分配到多个节点独立切片,实现了瓦片金字塔的并行构建。通过合并瓦片金字塔的底层数据并将其作为下一轮切片操作的输入数据,实现了迭代式切片。该方案利用云计算技术强大的计算能力和存储能力,提高了海量栅格地图数据的切片速度。结合上述研究成果,本文实现了基于MapReduce的海量栅格地图数据切片系统,并针对系统切片时间进行了性能测试,实际测试结果证实了本文所述内容的可行性及有效性。测试结果证明了在栅格地图数据量保持不变的情况下,系统的切片时间随着集群中切片节点数的增加而线性下降。本文利用云计算技术提高了地图切片系统的切片速度,解决了海量栅格地图数据的切片问题。
其他文献
嵌入式技术已进入一个崭新的时代,Freescale公司推出的新一代8位M68HC08系列微处理器,因其速度快、功能强、功耗小、价格低等优点,在业界得到了广泛的应用。为了能方便快捷地
视觉显著性计算模型以心理学、神经科学、认知理论等领域的研究成果或假说为前提,建立数学模型来模拟人类视觉系统指引注意力分配和视觉认知的过程,通过模拟和仿真人类视觉感
互连网络为多计算机系统中处理器单元之间的通信提供了一种有效的机制,随着并行计算机互连网络规模越来越大,网络中出现处理机故障或处理机间的边故障的可能性也越来越大。因
多功能扫描仪作为未来扫描仪市场发展的方向,很好的适应了市场对扫描仪高速率、多样化、专业化的要求。然而随着扫描仪性能提高的同时,对计算机和扫描仪间的数据传输率也提出
随着计算机与网络信息技术的飞速发展,各个领域的数据和信息急剧增加,对这些数据进行分析以发现隐含在数据中的有用模式的要求变的越来越迫切。因此数据挖掘技术应运而生,并
分布式计算技术是实现分布式系统的关键,90年代出现的分布式对象技术为网络平台上软件的开发提供了强有力的解决方案,它是分布式计算技术与面向对象技术的结合的产物。目前,
TSP问题是最经典的NP-hard组合优化问题之一。实际中有很多应用问题都可归结或转化为TSP问题。由于其计算的复杂性较高,长期以来,研究者一直在寻求快速、高效的近似算法,以便
物化视图是一种将代价大、重复次数多的查询预先计算出来并用于回答用户查询的优化手段,在分析型应用环境中能够非常有效地提升数据库系统的响应速度。为了满足联机分析处理(
随着互联网的迅速发展,Interrlet上的信息呈爆炸式增长,相对于巨大、无序的网络信息空间,传统网站服务不能满足不同背景、不同目的和不同时期的访问者请求,每个用户为了找到真正
本文应用本体技术对课程知识管理进行了研究,建立了微型计算机技术课程知识本体,实现了基于本体的课程知识管理系统。对该系统的体系结构、各个层次的功能、系统的预期功能、相