论文部分内容阅读
近年来,地理信息技术的飞速发展和空间遥感仪器分辨率的不断提高,使得地图应用领域不断扩大、栅格地图数据量急剧增长。现阶段WebGIS系统通常预先对栅格地图数据进行切片,并以瓦片金字塔形式组织栅格地图数据。当客户端访问WebGIS系统获取地图数据时,服务器端将预先切片完成的瓦片数据返回给客户端。传统单机式地图切片系统受限于单一节点的计算能力和存储能力,渐渐成为海量栅格地图数据处理技术发展的瓶颈。加快海量栅格地图数据的切片速度,对提高WebGIS的效率具有重要意义。云计算技术能够将数据和计算任务分散到大量计算机节点上进行管理,具备高可靠性和高可扩展性等特点。云计算技术提供了前所未有的计算能力和存储能力,为提高海量栅格地图数据的切片速度提供了新的基础平台。本文基于分布式计算框架MapReduce搭建了栅格地图数据切片系统,解决了海量栅格地图数据的切片问题。本文的主要研究内容和创新点如下:1.对现有分布式栅格地图切片系统关键技术进行了研究。指出了当前栅格地图切片系统的不足之处。针对海量地图数据的切片需求,设计了基于MapReduce的栅格地图切片系统。2.对HDFS的冗余备份机制进行了研究。提出了一种地图源文件拆分算法。该算法利用MapReduce的“本地计算”机制,能够减少地图切片过程中的网络数据传输,使切片任务在实际存储地图数据的节点上运行,降低了切片系统对网络带宽资源的依赖程度。3.对瓦片金字塔构建方案进行了研究。结合瓦片金字塔的模型结构,设计了一种利用瓦片缓存技术的瓦片金字塔构建方法。通过降低瓦片缩放时的计算量来加快瓦片金字塔的构建速度。利用金字塔内瓦片的排布规律,减少瓦片金字塔构建过程中的内存使用量。4.对海量数据下的瓦片金字塔并行构建技术进行了研究。结合MapReduce的应用特点,提出了一种基于MapReduce的迭代式瓦片金字塔构建方案。该方案将格式块文件分配到多个节点独立切片,实现了瓦片金字塔的并行构建。通过合并瓦片金字塔的底层数据并将其作为下一轮切片操作的输入数据,实现了迭代式切片。该方案利用云计算技术强大的计算能力和存储能力,提高了海量栅格地图数据的切片速度。结合上述研究成果,本文实现了基于MapReduce的海量栅格地图数据切片系统,并针对系统切片时间进行了性能测试,实际测试结果证实了本文所述内容的可行性及有效性。测试结果证明了在栅格地图数据量保持不变的情况下,系统的切片时间随着集群中切片节点数的增加而线性下降。本文利用云计算技术提高了地图切片系统的切片速度,解决了海量栅格地图数据的切片问题。