【摘 要】
:
时空热点是指居民来往次数多、交通流量大的三维时空区域。快速发现时空热点对一系列基于位置的实时服务有重要的现实意义。现有的高效时空热点查询算法是基于Spark分布式计算框架和Getis-Ord统计量的两阶段map-reduce算法。第一阶段map-reduce用于计算各立方单元格的属性值,第二阶段map-reduce用于计算各立方单元格的邻居贡献。现有算法在两个阶段map-reduce中存在耗时严重
论文部分内容阅读
时空热点是指居民来往次数多、交通流量大的三维时空区域。快速发现时空热点对一系列基于位置的实时服务有重要的现实意义。现有的高效时空热点查询算法是基于Spark分布式计算框架和Getis-Ord统计量的两阶段map-reduce算法。第一阶段map-reduce用于计算各立方单元格的属性值,第二阶段map-reduce用于计算各立方单元格的邻居贡献。现有算法在两个阶段map-reduce中存在耗时严重、资源浪费问题。在第一阶段map-reduce,遍历全部轨迹数据导致查询耗时严重,且原始轨迹数据映射到立方单元格中的k,v>数据分布不均匀,导致聚合操作时系统中大部分资源空闲等待、计算效率低。在第二阶段map-reduce,计算所有立方单元格的邻居贡献导致计算资源浪费。在整个时空区域中,热度值大的立方单元格只占少数,而热度值小的立方单元格占多数,大部分热度值小的立方单元格不可能成为时空热点,更不会使其邻居单元格成为时空热点,因此计算大量无用立方单元格会造成计算资源浪费。针对上述问题,本文通过采样过滤策略来加快计算、减少资源浪费。具体地,针对第一阶段map-reduce存在的耗时严重、效率低等问题,本文通过分析轨迹数据的分布规律,确定采样规模,对轨迹数据进行规律采样和随机采样,从而大幅降低查询时间、减轻数据分布不均的影响。针对第二阶段map-reduce存在的计算浪费问题,本文以单元格属性值的分布为依据,动态确定阈值T,取属性值最大的top-T个立方单元格作为热点候选集,只计算热点候选集中立方单元格的热度值,从而减少计算浪费。本文创新点如下:(1)提出一种对轨迹数据采样的方法S-RSampling(Stratified-Random Sampling)。在每条轨迹数据映射成<k,v>时,根据轨迹数据随时间的分布规律对轨迹数据进行分层采样,大幅降低查询时间;在k值相同的k,v>聚合时,对所有k,v>随机采样,减少资源等待时间,缓解数据分布不均匀的影响。(2)提出一种阈值过滤方法TFiltering(Threshold Filtering)。探索出一种确定阈值的方法,依据立方单元格属性值的分布规律,动态确定阈值T;根据阈值T和单元格属性值选择热点候选集,将属性值从大到小排序,取最大的top-T个立方单元格作为热点候选集,仅计算热点候选集中立方单元格的热度值,减少计算浪费,从而提高时空热点查询效率。本文采用Spark2.1.0分布式计算框架,对2015年纽约市出租车轨迹数据进行实验。实验表明,本文所提出的优化方法在保证查询结果准确率情况下能大幅度降低查询响应时间。
其他文献
近年来我国造船业迅速发展,对高端船板钢的需求与日俱增,船舶的大型化、高速化对船舶结构材料的要求也越来越高,要求同时具有高强度、良好低温冲击韧性、焊接性能以及防腐蚀
在深化高校专业供给侧改革的背景下,大学生“结构化”失业现象依旧存在,同时,企业也存在“招聘”难的现象。这些现象表明高校专业的人才培养模式与社会需求有一定的脱节。管理类专业曾经是最受高校喜欢开设的社科类专业之一,其每年毕业的本科生数在毕业大军中占额较多,然而其初次就业率不高,就业能力不足是管理类大学生就业困难的主要原因。本文以Yorke和Knight提出的USEM就业能力模型框架为基础,结合管理类专
近年来,海军东海舰队某潜艇支队党委始终以强烈的政治意识抓好党的创新理论武装,夯实官兵的思想政治根基,有力推动了支队建设科学发展和各项任务的圆满完成。支队先后被评为"
钒,被誉为“现代工业的味精”,是国家重要的战略资源,广泛应用于冶金、航空航天、化工和能源等领域。近几年,随着钒产品的广泛应用,对钒原料的需求也不断攀升。然而,为了满足
水资源短缺和肥料利用率低是阻碍我国农业现代化进程的主要因素。水肥一体化技术是解决香蕉产业大水肥管理模式困境和国家“一控两减”政策的重要途径和技术支撑。广西是我国的香蕉主产地之一,目前的香蕉种植面积和产量均位居全国第二。智能水肥一体化系统在香蕉生产上的应用面积不断扩大,逐步取代传统的灌溉施肥方式,缓解了水资源短缺和肥料利用率不高的问题,为香蕉种植带来显著收益。但是,智能水肥一体化管理系统在香蕉生产管
广西葛根种植地拟锈病病害严重,严重影响葛根产量。目前有关葛拟锈病的研究报道较少,尚未见有记载该病在广西的分布区域和发病规律。为了解广西葛根产区葛拟锈病的发生情况,本课题组于2018~2019年对本课题组选育出的4个葛根品种在广西各地推广区域的拟锈病发生情况和种植户管理情况进行调查,探索该病的流行规律,并进行了防治药剂的初步研究,以便寻找出有效防控措施。本文结合文献收集法、问卷调查法、实地调研法、综
钢中残留的大型夹杂物会导致材料裂纹萌生而损害其机械性能,同时由于晶粒粗大而导致大幅度降低材料的强韧性。上世纪有学者提出了“氧化物冶金”技术用于解决以上问题,即控制
不锈钢冶炼新技术的开发一直是不锈钢冶金工作者关注的研究课题。单嘴精炼炉,简称“单嘴炉”,是我国原创的一种钢液真空炉外精炼装置,长期的工业性批量试验已经证明了该炉型
近些年来,随着社会经济高速发展,视频监控成为智慧城市必不可少的一部分。视频监控可以对流动人员及其行为进行实时的采集和记录,从而防范一些意外事故的发生。然而,通过事后查看和人工监督的传统方法已经不再适用。为了更加准确和便捷的获取相关信息,人们希望借助智能视频监控系统来完成一些特定的动作,例如对一些特定的场景以及特定的事务进行识别和检测。运动目标检测作为智能视频监控系统的核心技术,是目标实时跟踪、目标