海事大数据查询服务平台的设计与实现

来源 :电子科技大学 | 被引量 : 10次 | 上传用户:BNBNBN668
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,不管是新兴的互联网服务领域,还是电信、交通等传统行业,都出现了数据的爆炸性增长。国家海事系统积累了海量、及时、准确的AIS、VTS船舶航行数据资源,这些数据资源由于分散在各个系统中,还没有进行统一的整合和再利用,海事局提出了急切需要盘活海量、权威的AIS等数据资源的需求,通过数据服务化转换,提供领导决策和航运出行两大主线服务,从而不断提升海事公众服务能力,加强海事服务保障能力。本文基于海事局对海量数据服务化转换的需求,设计与实现了海事大数据查询服务平台。本文首先对国内外海事数据服务发展现状和HBase二级索引的发展现状的不足进行了分析与总结。然后重点介绍本文所用的分布式存储系统HBase,并介绍其所依赖的Hadoop分布式文件系统HDFS。接着,介绍本文所用到的全文检索应用服务器Apache Solr,分别对其内部索引原理和检索原理做了详细分析。针对海事数据的位置搜索需求,详细介绍了Solr中索引经纬度的geohash算法和位置搜索原理。另外,介绍了Solr的分布式模式SolrCloud原理,以针对海事积累的大量数据进行分布式索引。本文利用HBase作为数据存储层,解决海事海量数据存储问题,利用Solr作为HBase数据存储层之上的数据索引层改善HBase只能通过rowkey唯一维度进行数据查询的局面,实现对海事数据进行布尔查询,模糊查询,位置搜索等多维度查询需求。这样,索引和真实数据分离,需通过Observer协处理器中提供的服务器端钩子函数实现在向HBase插入数据的同时在Solr中建立对应数据的索引,保证Solr中索引与HBase中对应数据的一致性,且避免了目前HBase二级索引的实现中对HBase源码的改动。基于此核心解决方案建立海事大数据查询服务平台系统,将系统分为数据处理、数据存储、数据索引、数据查询四个模块,分别对其进行详细设计与实现并对系统进行了优化。最后,提供了一个用户查询界面。本文最后进行系统索引数据与真实数据一致性性验证,测试数据插入平均速度,测试不同情况下请求响应时间、多用户并发查询情况下的系统性能以及30min持续多用户并发查询情况下系统的稳定性。该测试结果已通过海事局评审,并在基于此数据查询服务平台,在之上开发了海事数据公众服务网站并上线运行。
其他文献
伊马替尼是世界首个获得批准的肿瘤发生相关信号传导抑制剂,临床上主要用于治疗慢性粒细胞白血病和急性淋巴细胞白血病,且有新的适应症被不断发现。文章介绍了伊马替尼的化学
<正>一、疑团呈现植树问题是一个典型的数学问题,现行人教版教材把它作为数学广角的内容编入四年级下册。教学中很多教师对于"两端都栽""只栽一端"与"两端都不栽"这样三种情
二月兰是一种优良的早春地被植物,具有广阔的发展前景。文章主要阐述了二月兰的生态特征及观赏价值,介绍了其在园林绿化中的应用和优势,同时阐述了二月兰的推广价值。
<正>设计意图:舌头可以说是人体中功能最多的一个器官,它灵活的肌肉不但让我们在说话的时候可以有抑阳顿挫,上面布满的味蕾还能让我们感受到食物的酸甜苦辣。舌头不但是人体
会议
文章结合平板载荷试验原理,从砂垫层、尺寸效应、土拱效应及其他因素等方面,对影响平板载荷试验测试地基承载力的因素进行分析,结果表明:复合地基中砂垫层是影响试验成败的关
脑梗死是临床上常见的脑血管疾病,占全部脑卒中类型的60%~80%~([1]),全国进入老龄化脑梗塞的患病率逐年增加,其具有较高的致残率、复发率及死亡率。导致脑梗死的已知病因有多种,
通过对桐油、中和剂、助溶剂和苯乙烯对水性醇酸树脂性能影响的研究,发现在用豆油油酸为原料,加入7%的桐油,用三乙胺作中和剂,用乙二醇丁醚作助溶剂,制取水性醇酸树脂,再用10
随着时代的不断发展,新时代背景下的计划生育工作需要根据当前时代的需要而做出修改与创新,以适应当前时代的需求。本文就新疆区域为例,对新时期计划生育宣传教育工作的新思
在重油催化裂解多产丙烯(简称TMP)技术中,将两段催化裂解工艺与配套的增产丙烯催化剂结合,以大庆常压渣油为原料可以得到20%的丙烯收率,并能够很好兼顾汽柴油的质量。试验结
有什么样的结果,就有产生这种结果的原因,原因和结果天生就是直系血亲,它们从不分离。研究设计史中某种现象兴起的原因,可以让大家更深入地理解各种设计现象,而不是仅仅是停