基于云计算的海量空间信息存储与计算研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:zhangbin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着对地观测系统的发展与进步,地理空间数据呈爆炸式增长,海量空间数据的处理需求也日趋迫切,采用单一节点已经无法满足对不断增长的空间数据进行管理的需求。云计算技术与GIS的融合,为海量空间数据的分布式存储与计算提供了一个可靠的途径。   针对GIS当前所面临的海量数据存储与处理问题,结合GIS和云计算的特点,本文旨在研究利用云计算提供的分布式存储能力和强大的计算能力,构建基于云计算的GIS服务。论文具体内容围绕“云计算技术与海量空间信息存储与计算”这一主题展开,研究基于云计算的空间数据存储、计算以及共享互操作应用技术,主要工作内容如下:   (1)总结与分析目前GIS所面临的存储、计算与共享问题,同时对云计算以及相关技术进行了总结与归纳,介绍了国内外云计算GIS的研究现状并分析了其中存在的问题,提出本文的研究目标即利用云计算来解决GIS所面临的问题。   (2)针对海量空间数据存储的面临问题,在矢量数据结构的设计方面,本文重点研究了云计算平台中矢量空间数据的建模方法,提出了云计算平台中遵循OGC“简单要素规范”的矢量数据存储模型。设计并实现了基于HDFS的矢量数据模型(Vector Storage Model based on HDFS,VSMHDFS),并对其优缺点进行了分析与总结。与此同时,提出了基于分布式数据库Hbase与空间填充曲线的矢量数据存储模型(Vector Data Parting Model based on Hbase and Z-Curve,vDPM_HBZC),并对基于VDPM_HBZC模型的矢量数据查询分析进行了研究。   (3)分析现有云计算平台中四叉树模型的海量数据存储存在的问题,研究了四叉树栅格模型与分布式数据库Hbase的特点,提出了基于Hbase与四叉树的数据模型RDSM:HBMCQ(Raster Data Storage Model based on HBaseMulti-Columns and Quadtree),介绍了RDSM_HBMCQ模型的设计以及RowKey的生成,实现了四叉树栅格数据在云计算平台的高效存储、管理与查询应用。   (4)针对目前面临的海量空间数据处理能力不足的问题,分析了GIS并行处理策略,提出了面向空间数据的分解/映射/规约并行处理模型(Decomposition/Map/Reduce,DMR)。根据DMR模型,对基于MapReduce的矢量数据模型进行了分析,利用本文提出的VSMHDFS模型实现了基于MapReduce的矢量数据并行处理,并以矢量数据并行栅格化作为实例进行了验证。研究了基于MapReduce的栅格处理模型,分析了已有的MapReduce栅格处理模型的不足,并在此基础上提出了面向遥感影像并行处理的MapReduce模型RSIPM_MR(Remote Sensing Image Processing Model based on MapReduce),实现了面向遥感影像并行处理的Hadoop扩展,并使用遥感影像信息提取作为示例进行了验证。   (5)针对空间信息共享与互操作技术当前面临的问题,对云计算服务与OGCWeb Services技术的结合进行了深入探讨,提出了基于云计算的空间信息共享与互操作。设计了基于云计算与OGC的共享服务系统架构和相应的软件技术结构,并对基于云计算的空间信息共享的关键技术进行了分析,实现了基于云计算的海量空间信息数据服务和处理服务,为云计算平台上空间信息资源共享提供了一个解决方案。   (6)利用本文的研究成果,设计并实现了云计算GIS原型,完成了海量栅格与矢量数据的高效存储、管理与检索、四叉树栅格数据共享服务、空间信息并行计算、遥感信息并行处理以及基于OGC的空间信息共享等关键模块。同时对相关模块做了性能测试,验证了本文提出的相关存储模型和计算模型的可行性、有效性以及高效性。   本文主要创新点可概括如下:   (1)基于云计算平台的矢量数据建模方面,提出并实现了基于Hbase与空间填充曲线并遵循OGC规范的矢量数据存储模型VDPM_HBZC,实现了矢量数据在云计算平台中的高效存储与检索。   (2)在基于云计算的栅格数据存储方面,提出了基于分布式数据库Hbase与四叉树的栅格数据存储模型RDSM_HBMCQ,实现了多时相、多版本的四叉树栅格数据在云计算平台中的高效存储、检索与更新。   (3)在基于云计算的并行计算方面,分析了GIS并行计算策略,提出了面向空间数据的DMR模型,实现了基于云计算平台的矢量数据和栅格的并行处理;提出了面向遥感影像并行处理的MapReduce模型RSIPM_MR,研究了面向遥感影像的Hadoop扩展并实现了遥感影像的并行处理。
其他文献
“你这个死疯子,把我这么贵的衣服弄脏了,干洗费你都赔不起!”  早上我背着书包刚刚出单元门,就听到小区院子里一个女人尖利刺耳的叫嚷声。我惊讶地看过去,只见一个穿着时尚、贵气的中年女人正冲着一个衣衫褴褛、拖着一个灰麻布袋的老头嚷嚷着。她叉着腰,站在台阶上朝老头嚷:“疯子就应该去疯人院,在这儿碍眼!”说完,小心翼翼地侧身,扬长而去,留下老头眼神黯淡不知所措地站在那儿。  这个被叫做“疯子”的老头不知何
期刊
加强责任教育是全球道德教育发展的必然趋势,也是大学生自身健康成长和发展的客观要求.要明确大学生责任观教育意义,分析大学生责任意识弱化的现状与高校责任观教育体系的不
通常,在我走出地铁车厢之后,会有两条路摆在我面前:一条是随拥挤的人流麻木地走上循环攀升的电梯,站定,然后等待被送达;另一条是走一栏之隔人迹罕至的楼梯,费力还略显张扬。有一天我突然猛醒,这一细微选择,其意义之重大,并不亚于选择信仰。  为什么要乘电梯?你可曾问过自己,或者,由我来替你进行这个苏格拉底式的诘问。有人会说,机械装置本就为便利人类而生,为何不乘,傻吗?不乘白不乘。有人会说,通勤路上太疲惫,
期刊
喜马拉雅山和青藏高原拥有其极复杂的地形地势。众多研究显示:高原的动力和热力作用影响着亚洲季风的开始时间及强度。大气是众多环境过程中一个关键的控制因素,而地表大气温
信息社会的核心概念就是“信息”。而信息是什么,信息的本质又是什么。这些都是哲学家必须进行探究的基本问题。我国对“信息”这个概念的探讨却并非始于香农的信息论,而是始于
为加快市人大机关干部人事制度改革的步伐,营造公开、平等、竞争、择优的用人氛围,最近市人大常委会机关推出新举措——部分处级领导职位试行竞争上岗,取得了较好的效果。去
水循环是联系地球系统地圈-生物圈-大气圈的纽带,是全球变化三大主题—碳循环、水资源和食物纤维的核心问题之一。在全球变化背景下,研究变化环境对水循环的影响及水文系统的响
期刊
期刊
灾害与人类始终相随相伴,随着社会发展,物质不断丰富,各种自然灾害引起的人类生命财产损失也日益增多。中国是一个灾害多发的国家,具有灾害种类多、范围广、程度深、危害大等特点