论文部分内容阅读
随着美国GPS系统的现代化,俄罗斯GLONASS系统的更新发展,欧盟Galileo系统的正式运行以及我国BDS系统的逐步全球化,GNSS系统在空间段有了巨大的发展;与此同时,在地面段上,北斗地基跟踪站网的布设和国际GNSS服务组织正在实施的多系统实验计划的开展——标志着GNSS进入了大数据时代。海量的GNSS数据不仅带来了机遇,提供丰富的计算资源,更意味着计算和管理上的巨大挑战。因此,如何高效的存储、管理海量GNSS数据,提高读取下载的效率,缓解海量GNSS数据与有限的计算、存储能力的矛盾,成为当下亟待解决的问题。鉴于此,本文针对以上问题进行了研究,主要内容与成果如下:1、阐述了利用Hadoop架构中的分布式文件系统进行GNSS数据存储与管理的技术路线。从空间段可用卫星和频率资源的增加、地面段基准站网的建设和升级,以及GNSS数据量的倍增3个方面分析了GNSS数据管理的发展现状;分析了现有的GNSS数据存储与管理方式以及面临的瓶颈,即集中式的存储方法已经不能满足GNSS数据存储的需求,确定了本文的技术路线。2、Hadoop小型服务器集群构建与测试。介绍了分布式计算平台Hadoop,以及它的两个重要组件:HDFS和MapReduce。基于HDFS分布式文件系统搭建了Hadoop小型服务器集群,针对集群的可靠性、容错性和拓展性能进行了实验测试。测试结果表明:本文搭建的Hadoop集群具备良好的安全可靠性、抗灾容错性和拓展性。3、提出了归类压缩索引存储算法。在GNSS小文件上传存储策略研究中,提出了基于GNSS文件类型、时间和位置信息进行小文件合并,通过构建小文件索引表加强索引的存储方案。通过实验,将本方案与原生态的HDFS存储、HAR归档方案、SequenceFile序列化方案进行对比分析。从文件上传,文件读取以及主节点内存损耗三大方面对四种方案进行实验测试与分析,结果表明:在处理GNSS小文件存储与管理上,本方案更优。4、GNSS云盘系统开发与测试。利用前述的理论与算法成果,在掌握系统需求分析的基础上,基于MapReduce编程模块开发了GNSS数据云盘系统,实现了对GNSS文件的云存储。系统的主要功能包括:功能主菜单、登录功能实现、文件互操作实现、文件实验室云共享实现、GNSS数据存储实现以及GNSS定位实现等。在GNSS云盘系统的Web端开发实现了位置共享云服务功能。