地理空间实时流数据压缩与查询关键技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:mi33123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着时态地理信息系统的发展和智能移动设备的普及,全球每时每刻都在产生海量地理空间数据。大量有价值的知识和潜在的规律信息被蕴藏在数据中,这些数据的价值会随着时间的流逝而减少。因此,对时刻产生的地理空间数据进行实时处理与应用显得格外重要。地理空间数据的传统处理方式是将文件或数据库中存储的数据一次性加载到内存中,对这些数据进行处理后将得到的结果反馈给用户。该方式存在很多弊端,首先流数据是不间断产生的,并且具有无限的特性,而传统分析方法需要将所有数据都加载到内存中再进行后续分析,在数据量过大同时内存限制的环境下,传统分析方法就会失效;其次,传统处理方式在处理流数据时,通常会对数据进行循环扫描处理,而在处理流数据过程中,分析方法通常只能单遍扫描,即每个数据只会被处理一次。流数据处理方式是在数据流到来时及时处理并将结果反馈给用户。针对上述问题,本文基于Spark Streaming和HBase等核心技术设计实现了地理空间实时流数据压缩与查询技术方案。该技术实现了对地理空间数据进行实时压缩、存储管理与连续查询等功能,具有高效压缩、实时查询等优点。本文的主要工作如下:(1)针对地理空间实时流数据实时性和具有时空属性等特点,对CE轨迹压缩算法进行改进,结合时间属性与空间属性信息作为阈值,设计了T-CE轨迹压缩算法,该算法避免了短时间内曲线中具有代表性的点被误删除的情况,在一定程度上提高了压缩精度。(2)根据地理空间数据的结构特点和HBase的存储特性,实现了地理空间数据在HBase中的存储模型,并根据轨迹压缩和连续查询时不同存储需求选择不同的行键设计。(3)针对轨迹点数据动态更新的特点,提出了基于四叉树索引的概念分区方式,通过该方式访问数据能够更好地适应轨迹点实时更新特性,并且解决了简单网格索引由于数据的不均匀分布导致的各个网格内数据量负载不平衡问题。(4)基于四叉树索引的概念分区方式,实现了连续k邻近查询和连续范围查询,在查询过程中基于轨迹数据变化特点对历史查询结果进行更新,得到最新查询结果。通过结果更新方式,避免了查询工作的大量重复计算,提高了查询性能。最后,本文搭建了集群环境,基于T-Drive北京出租车轨迹数据,进行了相关性能测试。实验结果显示本文研究的地理空间实时流数据压缩与查询技术在连续查询性能方面优于同类方案,在实时压缩方面,本文提出的T-CE算法具有压缩速度快、误差小等特点。
其他文献
扬子北缘有4套性质不同的原型盆地,即被动大陆边缘盆地(Pt3-O),周缘前陆盆地(D-C)、拗拉槽盆地(P-T).陆内前陆盆地(T3-K1)。扬子板块北缘古生代盆地经历了4期构造变动,但是对扬子
“我国经济已由高速增长阶段转向高质量发展阶段。”党的十九大作出这一重要判断以来,“高质量发展”已经成为全国共识,新一轮以高质量发展为导向的区域竞争正在展开。$$明者因
报纸
背景胆囊癌是胆道系统最常见的恶性肿瘤之一,其发病率在胃肠道恶性肿瘤中居全球第五位。有研究表明,每年新确诊的胆囊癌病例数量等于胆囊癌相关死亡人数。胆囊癌最常见的症状有腹痛和黄疸。其病理表现通常为不对称胆囊壁增厚,渗入周围结构。肿瘤好发于胆囊下部,随着肿瘤进展胆囊内可充满肿瘤伴或不伴有脓液、粘液或结石。胆囊癌早期可能表现为黏膜斑块、息肉或乳头状增生。从宏观上看,胆囊癌可分为乳头状,管状和结节状。胆囊癌
本文通过对企业激励机制现状的调查分析,发现销售员工激励机制方面存在总体薪资满意程度低、薪酬制度不合理、激励效果不明显、员工在企业中自我实现的需求满足不满意等方面
在粒子物理学中,作为标准模型的重要组成部分的量子色动力学是允许我们计算夸克与胶子在极小距离内的传播和相互作用的量子场理论,然而当今的粒子物理实验不能直接观测到孤立
长三角区域是中国经济发展重要的增长极,也是我国城市化水平最高的区域之一。长三角区域作为中国旅游业重要的战略基地,既是我国旅游业发展的主力军和排头兵,又是我国跨区域旅游
报纸
中国的公共卫生运动最早是由基督教会倡导和组织的。1901-1937年间,中国基督教会在全国范围内开展了持续多年的公共卫生运动。基督教会之所以在中国发起这项运动,原因是多方
<正>前面我们讲过了《汉语国际推广的目的》,接下来我们阅读一份《汉语国际推广战略研究报告》。这份报告是由人民大学汉语国际推广研究所于2008年8月完成的,并在当年当月11-
会议
皮纹络脉诊法是一门古老而又新兴的学科,早在二千多年前的《黄帝内经》就已经意识到皮肤纹理对于临床诊断具有重要意义,并开始逐步运用到临床之中。中国是皮纹络脉诊法的发源
一、钱端升与《比较宪法》(一)两位著者学官一体、曹汉各异、学官反序学界认为,在上个世纪的比较宪法学者中钱端升和王世杰的影响最大。他们二人的影响不仅在于二人共同署名