论文部分内容阅读
随着对地观测系统的发展与进步,地理空间数据呈爆炸式增长,海量空间数据的处理需求也日趋迫切,采用单一节点已经无法满足对不断增长的空间数据进行管理的需求。云计算技术与GIS的融合,为海量空间数据的分布式存储与计算提供了一个可靠的途径。
针对GIS当前所面临的海量数据存储与处理问题,结合GIS和云计算的特点,本文旨在研究利用云计算提供的分布式存储能力和强大的计算能力,构建基于云计算的GIS服务。论文具体内容围绕“云计算技术与海量空间信息存储与计算”这一主题展开,研究基于云计算的空间数据存储、计算以及共享互操作应用技术,主要工作内容如下:
(1)总结与分析目前GIS所面临的存储、计算与共享问题,同时对云计算以及相关技术进行了总结与归纳,介绍了国内外云计算GIS的研究现状并分析了其中存在的问题,提出本文的研究目标即利用云计算来解决GIS所面临的问题。
(2)针对海量空间数据存储的面临问题,在矢量数据结构的设计方面,本文重点研究了云计算平台中矢量空间数据的建模方法,提出了云计算平台中遵循OGC“简单要素规范”的矢量数据存储模型。设计并实现了基于HDFS的矢量数据模型(Vector Storage Model based on HDFS,VSMHDFS),并对其优缺点进行了分析与总结。与此同时,提出了基于分布式数据库Hbase与空间填充曲线的矢量数据存储模型(Vector Data Parting Model based on Hbase and Z-Curve,vDPM_HBZC),并对基于VDPM_HBZC模型的矢量数据查询分析进行了研究。
(3)分析现有云计算平台中四叉树模型的海量数据存储存在的问题,研究了四叉树栅格模型与分布式数据库Hbase的特点,提出了基于Hbase与四叉树的数据模型RDSM:HBMCQ(Raster Data Storage Model based on HBaseMulti-Columns and Quadtree),介绍了RDSM_HBMCQ模型的设计以及RowKey的生成,实现了四叉树栅格数据在云计算平台的高效存储、管理与查询应用。
(4)针对目前面临的海量空间数据处理能力不足的问题,分析了GIS并行处理策略,提出了面向空间数据的分解/映射/规约并行处理模型(Decomposition/Map/Reduce,DMR)。根据DMR模型,对基于MapReduce的矢量数据模型进行了分析,利用本文提出的VSMHDFS模型实现了基于MapReduce的矢量数据并行处理,并以矢量数据并行栅格化作为实例进行了验证。研究了基于MapReduce的栅格处理模型,分析了已有的MapReduce栅格处理模型的不足,并在此基础上提出了面向遥感影像并行处理的MapReduce模型RSIPM_MR(Remote Sensing Image Processing Model based on MapReduce),实现了面向遥感影像并行处理的Hadoop扩展,并使用遥感影像信息提取作为示例进行了验证。
(5)针对空间信息共享与互操作技术当前面临的问题,对云计算服务与OGCWeb Services技术的结合进行了深入探讨,提出了基于云计算的空间信息共享与互操作。设计了基于云计算与OGC的共享服务系统架构和相应的软件技术结构,并对基于云计算的空间信息共享的关键技术进行了分析,实现了基于云计算的海量空间信息数据服务和处理服务,为云计算平台上空间信息资源共享提供了一个解决方案。
(6)利用本文的研究成果,设计并实现了云计算GIS原型,完成了海量栅格与矢量数据的高效存储、管理与检索、四叉树栅格数据共享服务、空间信息并行计算、遥感信息并行处理以及基于OGC的空间信息共享等关键模块。同时对相关模块做了性能测试,验证了本文提出的相关存储模型和计算模型的可行性、有效性以及高效性。
本文主要创新点可概括如下:
(1)基于云计算平台的矢量数据建模方面,提出并实现了基于Hbase与空间填充曲线并遵循OGC规范的矢量数据存储模型VDPM_HBZC,实现了矢量数据在云计算平台中的高效存储与检索。
(2)在基于云计算的栅格数据存储方面,提出了基于分布式数据库Hbase与四叉树的栅格数据存储模型RDSM_HBMCQ,实现了多时相、多版本的四叉树栅格数据在云计算平台中的高效存储、检索与更新。
(3)在基于云计算的并行计算方面,分析了GIS并行计算策略,提出了面向空间数据的DMR模型,实现了基于云计算平台的矢量数据和栅格的并行处理;提出了面向遥感影像并行处理的MapReduce模型RSIPM_MR,研究了面向遥感影像的Hadoop扩展并实现了遥感影像的并行处理。