基于Hadoop的海量GNSS数据云存储构建及其应用

来源 :东南大学 | 被引量 : 0次 | 上传用户:thkinwalking
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着美国GPS系统的现代化,俄罗斯GLONASS系统的更新发展,欧盟Galileo系统的正式运行以及我国BDS系统的逐步全球化,GNSS系统在空间段有了巨大的发展;与此同时,在地面段上,北斗地基跟踪站网的布设和国际GNSS服务组织正在实施的多系统实验计划的开展——标志着GNSS进入了大数据时代。海量的GNSS数据不仅带来了机遇,提供丰富的计算资源,更意味着计算和管理上的巨大挑战。因此,如何高效的存储、管理海量GNSS数据,提高读取下载的效率,缓解海量GNSS数据与有限的计算、存储能力的矛盾,成为当下亟待解决的问题。鉴于此,本文针对以上问题进行了研究,主要内容与成果如下:1、阐述了利用Hadoop架构中的分布式文件系统进行GNSS数据存储与管理的技术路线。从空间段可用卫星和频率资源的增加、地面段基准站网的建设和升级,以及GNSS数据量的倍增3个方面分析了GNSS数据管理的发展现状;分析了现有的GNSS数据存储与管理方式以及面临的瓶颈,即集中式的存储方法已经不能满足GNSS数据存储的需求,确定了本文的技术路线。2、Hadoop小型服务器集群构建与测试。介绍了分布式计算平台Hadoop,以及它的两个重要组件:HDFS和MapReduce。基于HDFS分布式文件系统搭建了Hadoop小型服务器集群,针对集群的可靠性、容错性和拓展性能进行了实验测试。测试结果表明:本文搭建的Hadoop集群具备良好的安全可靠性、抗灾容错性和拓展性。3、提出了归类压缩索引存储算法。在GNSS小文件上传存储策略研究中,提出了基于GNSS文件类型、时间和位置信息进行小文件合并,通过构建小文件索引表加强索引的存储方案。通过实验,将本方案与原生态的HDFS存储、HAR归档方案、SequenceFile序列化方案进行对比分析。从文件上传,文件读取以及主节点内存损耗三大方面对四种方案进行实验测试与分析,结果表明:在处理GNSS小文件存储与管理上,本方案更优。4、GNSS云盘系统开发与测试。利用前述的理论与算法成果,在掌握系统需求分析的基础上,基于MapReduce编程模块开发了GNSS数据云盘系统,实现了对GNSS文件的云存储。系统的主要功能包括:功能主菜单、登录功能实现、文件互操作实现、文件实验室云共享实现、GNSS数据存储实现以及GNSS定位实现等。在GNSS云盘系统的Web端开发实现了位置共享云服务功能。
其他文献
药事管理学课程是药学专业的必修课程之一,其内容具有较强的应用性和实践性特征,必须探索行之有效的教学方法,让学生理解药事法规在药事活动中的实际应用。通过不断的探索,本文从
研究了人造沸石对水中金属铜离子的吸附。结果表明,人造沸石对金属铜离子有吸附效果。pH值是影响吸附的主要因素,另外时间、人造沸石用量和溶液中金属铜离子浓度都会影响吸附
2009年3月6日,“口岸物流联盟”在苏州举行“牵手苏州——物流零距离交流会”。苏州近百家货主企业的物流和关务部经理与沪上56家国际物流企业在上海北外滩集聚办搭建的平台上开展业务交流和联谊活动。  “口岸物流联盟”关注国际经贸领域热点话题,已联手业内多个单位举办“焦点讲谈”。2009年初成功举行“国际物流企业抱团取暖,共商金融海啸应对策略”专场(本刊1月期曾作报道,被全国逾70家网站转载或链接)。
中煤平朔煤业有限责任公司(以下简称中煤平朔公司)的前身是平朔煤炭工业公司,创建于1982年,1997年6月并入中国中煤能源集团公司,成为集团旗下核心生产企业。原平朔煤炭工业公司的