论文部分内容阅读
AIS(Automatic Identification System)数据在船舶监控、交通导航、避免碰撞等方面发挥着重要作用。高效存储和管理AIS数据对于水上运输业的发展和基于AIS数据的理论研究具有重要意义。但AIS数据发送频繁,在船舶数量较多的情况下,AIS数据存储和管理系统面临着数据的高频写入、海量数据存储、多维时空查询的挑战。传统关系型数据库在海量数据下读取和写入速度急剧下降,难以有效管理日益增长的时空数据。因此,本文利用云计算与云存储技术,研究基于HBase分布式存储系统的AIS数据存储模型。同时,为了支持高效的时空多维查询操作,探索了云环境下AIS数据的时空索引结构,并基于所提出的存储模式和索引结构,设计了面向AIS数据的查询算法。本文的主要工作内容如下:(1)结合AIS数据特点,设计云环境下AIS数据的存储模型。为解决海量AIS数据存储的问题,本文提出云环境下AIS数据的存储模型。该存储模型使用Spark技术并行化解析AIS报文,使用HBase分布式系统存储AIS数据。结合AIS数据特点,主要从Rowkey值和列族两方面,设计了主表和副表结合的存储模式。主表保存完整的AIS源数据,副表存储线性化的AIS时空信息。(2)提出R树的改进算法GeoR树,并设计云环境下AIS数据的两层时空索引结构。由于HBase提供的Rowkey值索引难以实现AIS数据高效的时空查询操作,本文基于Geohash算法优化R树,构建了GeoR树,并利用GeoR树和B+树设计了一种两层时空索引结构—GeoRB。该结构上层使用GeoR树索引空间信息,下层使用B+树索引线性化的时空信息,从而为实现高效的AIS数据时空查询操作奠定基础。(3)基于设计的AIS数据云存储模式和索引结构,研究了面向AIS数据的查询算法。以设计的云存储模式为基础,研究了船舶轨迹数据查询算法。该算法主要利用HBase的Scan()方法快速读取数据,并利用设置缓存、并行化来提升数据读取速度;在所提出的GeoRB时空索引结构基础上,设计了面向AIS数据的时空范围查询算法,并基于此查询算法,研究了断面流量查询算法。(4)原型系统设计与性能测试。利用以上研究成果,设计了云环境下AIS数据存储和管理原型系统。使用长江航道的AIS数据,对AIS的云存储模式、索引结构从数据写入和数据查询等方面进行了性能测试。实验结果表明,本文所设计的AIS数据存储模式和索引结构具有合理性与有效性。