论文部分内容阅读
面对日益增长的轨迹数据,如何对其存储、计算和查询分析成为了当前热点问题。本文针对海量轨迹数据的采集、传输、计算转换、存储和查询进行研究,探索在更大容量和更大时空范围中更快速的查询,以提高轨迹数据挖掘与分析的时效性,为智慧城市提供底层服务支撑。本文主要内容如下:(1)采用Flume、Kafka、Flink、HBase等主流大数据技术,构建了具有采集、传输、转换处理、存储查询等功能的轨迹查询系统,初步实现具备高容错、高性能、可扩展的轨迹数据处理需求。(2)设计并实现了基于Flink的Geohash编码、Google S2编码、ST-hash编码算法。根据不同场景,对轨迹数据的经纬度信息与时间信息设计了不同的索引方案,为提高轨迹查询效率提供基础。(3)以移动对象密接查询为应用背景,设计了基于HBase数据库的轨迹数据存储模型。设计了基于四叉树的面向时间范围的移动对象轨迹查询与基于八叉树的面向时空范围的移动对象轨迹查询行键,实现了在更大容量中更快速的轨迹数据查询。(4)验证了轨迹查询系统的可行性。采用1000条轨迹数据进行了采集、传输、转换处理、存储的原型试验。在10亿条轨迹数据下进行了面向时间范围与时空范围的移动对象轨迹查询性能测试。在时空范围查询中对比了Geohash、Google S2、ST-hash多种编码的查询性能。实验结果显示,本文所设计的轨迹查询系统能够实现轨迹数据采集、传输、计算与存储,面向时间范围的移动对象轨迹查询在500毫秒以内完成。