基于Hadoop的自然资源空间数据应用平台的集成与开发

来源 :长安大学 | 被引量 : 0次 | 上传用户:qqqqq721106
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年,在自然资源领域,随着国土调查、国情监测、空间规划等国家重大项目的的不断开展和深入,产生了大量的基础自然资源数据以及专题业务应用数据。面对如此巨大的数据量,如何对这些数据实现科学的储存、管理,如何对这些数据进行高效的分析、查询和应用发布已经成为了一个巨大的挑战。传统的存储、计算和服务模式已难堪重任。因此,需要对大量自然资源数据以及专题业务数据的储存和计算方法进行深入研究,充分挖掘其潜在价值。目前,分布式存储和大数据并行计算框架为解决上述问题提供了新的解决思路。本文针对目前空间大数据的存储和分析方面存在的问题,结合宁夏回族自治区自然资源厅的具体业务应用和需求,以Hadoop平台的空间大数据分布式存储和并行计算能力为基础,利用ArcGIS Enterprise的专业GIS(Geographic Information System)服务能力,集成构建基于Hadoop的GIS应用,并在如下关键技术点进行了研究:(一)实现大量自然资源数据以及专题业务数据的分布式存储。搭建Hadoop平台,利用其核心组件HDFS(Hadoop Distributed File System)实现自然资源数据以及专题业务数据本地至分布式文件系统的转换。重点研究了HDFS分块存储的方法以及优势,并对文件块的大小进行设置,解决了宁夏回族自治区土地变更调查数据的分布式存储问题。(二)研究如何在Hadoop上进行GIS服务的集成。对Hadoop平台上GIS的服务能力以及集成的优势进行了研究。以ArcGIS平台为例,选取其核心组件ArcGIS Enterprise进行部署,实现Hadoop的存储能力与ArcGIS空间分析可视化能力的结合,为业务模型的开发设计提供基础计算环境。(三)基于集成平台的自然资源业务分析模型的开发。采用Spark计算框架,结合具体业务需求设计开发出涉地审批服务模型、涉地规划应用模型和地类流量分析模型。实现对自然资源数据以及专题业务数据的并行、高效的分析运算,解决了宁夏回族自治区自然资源业务应用的计算、分析问题。
其他文献
危险品是工业生产的重要原料,近年来危险品道路运输量不断增加。危险品由于本身特殊的理化性质,在发生事故时可能会造成严重的后果。危险品运输专用道作为一种规避运输风险的手段,在实际应用中得到了关注。研究危险品运输专用道布局问题,设计科学、高效的专用道布局方案,能够保障交通网络的通畅和安全,可以为政府部门决策提供一定的理论依据。首先,危险品运输专用道布局方案是监管部门和出行者之间的博弈结果,本文考虑小汽车
目前,我国正处于快速建设与发展的阶段,建筑能耗长期处于增长的趋势。“2030碳达峰,2060碳中和”对建筑节能提出了更高的要求,相比起城市建筑节能工作的规范有序推进,目前仍以自建为主的农宅节能工作进展缓慢,解决农宅的能耗问题是当务之急。关中地区位于陕西中部,属于寒冷地区,冬季寒冷、夏季较为炎热。基于关中地区气候与经济等原因,导致农宅节能工作开展并不顺利。采暖制冷需求在带来了能耗问题的同时也大大增加
作为一种新兴的问答方式以及知识共享模式,社区问答近年来在各领域得到了广泛应用。自动化的社区问答能有效提升问答效率,提升用户体验。目前,已有文献对社区问答中的问题分类、答案质量评估等诸多问题展开了研究和应用,但对答案选择和相似问题检索任务的研究尚存在不足。故本文以国际语义测评大会Sem Eval发布的社区问答数据集为基础,利用机器学习的相关方法对这两个问题展开了创新性的研究,提出了相关的技术解决方案
随着物质生活水平的提高,人们更加偏向于快捷、舒适的交通出行方式,航空交通已经成为普通家庭的出行选择。然而,由于机场位置距离城市核心区较远,长距离的接驳对航空出行的吸引力造成了一定的影响。因此,为了提升机场接驳服务和接驳质量,本文旨在对机场接驳满意度进行研究,有针对性和侧重点地提出改进策略,从而提升航空产业的吸引力和竞争力,助力我国现代化交通体系的构建。本文首先以机场接驳满意度为出发点,根据文献和相
Ti-6Al-4V钛合金因其组织结构稳定、耐腐蚀性能和生物相容性好等优点被广泛应用于航空航天和生物医学等领域。但Ti-6Al-4V钛合金在室温下的可塑性、耐磨性较差且加工硬化严重,因此限制了其应用范围。为了解决此问题,本研究利用放电等离子烧结(Spark plasma sintering,即SPS)工艺优化及添加稀土化合物(Y2O3、YH2和YbB6)的方法来提高Ti-6Al-4V钛合金的力学性能
随着我国经济持续发展和社会不断进步,公众对道路快速出行的要求越来越高。部分省份开始在线形条件好、交通需求大的6/8车道高速公路探索建设“超级高速”,以满足车辆更高车速行驶、实现更高的通行效率。但针对道路提速的条件、提速后的限速方案、限速实施方式及行车安全保障措施的相关研究尚不完善,难以支撑高速公路通行效率的有效提高。本文以六车道高速公路为对象,首先依据速度和驾驶员交通特性的关系,提出综合考虑视觉特
沥青混凝土路面是中国道路的主要结构形式之一,所占比例仍在逐年增加。然而,由于施工不规范或筑路机械运用不当,常常导致沥青路面早期损坏较为严重,影响道路的使用寿命。经研究调查发现,沥青路面的离析分布现象和早期损坏现象呈现相似的特性。沥青混凝土摊铺机作为沥青路面摊铺施工的重要设备,其摊铺作业性能对沥青混合料离析现象有着重要的影响。因此,对沥青混凝土摊铺机的螺旋分料装置进行研究分析具有较强的现实意义和工程
中国古建筑大多数为砖木结构,经过长年的风吹日晒,木材含水率极低,即使是一点火星,也有很大可能引发轰燃,使人类文明遭受不可挽救的损失。抑制火灾轰燃的发生需要采取科学有效的方法,然而,目前关于轰燃的研究多集中在各类现代建筑上,研究过程偏于理论,现实中能否发生相关类型火灾无从考据;关于轰燃的判定,多使用的传统判据,误差较大;针对中国古建筑火灾轰燃的研究寥寥无几。鉴于此,对古建筑火灾轰燃阶段进行深入探究有
运输结构调整是推进国家综合立体交通网和交通强国建设的基本要求,评价高速公路货运效率是掌握运输结构调整对公路货物运输影响的关键环节,对明确运输结构调整的成效及方向性的指导具有重要现实意义。阐述了运输结构调整及货运效率评价有关的基本原理和理论,明确了高速公路货运效率评价指标体系的构建原则及影响指标选定的关键因素,构建了由3个一级指标和17个二级指标构成的双层评价指标体系;基于灰色关联度理论和熵值理论,
随着激光设备功率和质量的不断提升,激光切割在现代工业的应用领域越来越广泛,同时对激光切割加工质量的要求也越来越高。激光切割作为一个复杂的光学和热学加工过程,影响其加工质量的因素很多,而且国内缺乏相关的质量评判标准,生产单位缺乏质量控制和补偿手段,因此激光切割目前只能应用于下料和粗加工过程。研究激光切割工艺参数对加工质量的影响规律,总结相关的误差补偿公式,有利于提高激光加工质量和效率,节约加工成本。