基于spark的语义轨迹频繁模式提取方法及其应用

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:qq277824282
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
出行在现代人的日常生活中扮演重要作用,通过研究人们运动轨迹中的时空特征可挖掘出用户的出行规律,尤其是对于车辆轨迹的研究可以获得车辆在多个特定时间段内的移动特点等,与移动对象相对应的网络属性标签结合可推断出作息规律、兴趣爱好、生活习惯,路线偏好等重要信息,对于理解移动对象的行为模式、提供高精准度的智能推荐等都具有很高的应用价值。针对移动轨迹频繁模式挖掘相关问题,本课题研究了移动轨迹的语义化处理,语义轨迹压缩和基于语义轨迹频繁模式挖掘算法。首先,分析了原始轨迹因为采集环境等原因存在数据冗余,噪点多的特点,提出基于语义轨迹的压缩合并方法。在保证有价值信息不丢失前提下尽可能提升压缩比,以达到最大程度简化轨迹。然后提出一种基于语义树的聚类方法。本文基于语义轨迹提取出停留点,分析得到该类语义标签可以通过树结构进行编码,通过改进莱温斯坦距离得到一个归一化的度量标准。并通过该度量标准来开展聚类工作。后期实验证明,该聚类是可行的,通过控制适当的参数,如范围阈值,可得到合理的聚类结果。最后提出了RGP频繁模式挖掘算法,首先找出频繁1项集和2项集,依据语义轨迹的频繁特征和连续特征进行合理的大幅度分枝剪枝处理,这种剪枝处理为后期的数据挖掘带来了很好的效率提升。在数据规模较大,数据密集的情况下,进行深层次的迭代运算十分消耗计算能力,本算法将长项集的频繁迭代计算转换为分集合运算,从而求出频繁序列和子集,并利用并行化处理思想,使用spark并行计算框架,实现了移动轨迹频繁模式的挖掘。对比实验证明本算法具有较好挖掘效率,可以实现在基于个体数据研究的基础上,对多用户地理关系进行挖掘。
其他文献
随着强化学习算法在机器人场景上的应用与发展,此类算法表现出了巨大的潜力;同时,模拟框架的出现为基于强化学习算法的机器人训练任务提供了一个便利的训练方式。但是,大多数强化学习训练任务仍然是在单物理节点上运行,物理节点的性能成为了限制训练任务执行效率的一个瓶颈,迫切需要寻找一种途径解决单物理节点的性能限制问题;同时,强化学习算法在分布式平台上运行时会因为物理网络的延迟增加时间消耗,因此,有必要对通信开
随着技术的发展,手机已经成为移动支付、社交等日常活动中不可或缺的工具,身份认证是保护人们隐私和财产安全的有效措施,也是目前安全研究的重点之一。目前主流的安全认证方法中,数字密码要求用户牢记一组数字,每次认证时需要主动输入,在用户交互方面不太友好。指纹识别和人脸识别等认证方法,易于引起隐私泄露问题。上述认证方法属于被动性认证,即在进行认证时需要用户主动发起认证操作,并且这些认证方法只对用户进行一次身
随着云计算(Cloud Computing)和群智感知(Crowdsensing)等新型网络环境的发展,这些新型架构已经成为承载各类应用的关键基础设施。然而,新型网络环境下数据安全与隐私威胁日
如今我们社会的现代化步伐越来越快速,这带动着城市的经济在迅猛的发展,也大幅度提升了我们国民整体的生活水平。随之改变的就是大城市的人口规模在不断的扩大,在特大城市流动人口急剧增加,导致了这些特大城市的交通等问题日益严峻,越来越多的人选择绿色出行的公共交通。做好公共交通的规划和决策,是解决交通拥堵问题的关键所在。在大数据时代,科学的利用云计算平台及相关技术,对公共交通数据进行分析和研判,做出合理的预测
Android移动操作系统由于其开源、用户广泛等特点,拥有庞大的应用生态环境,其中包含各种良性应用,以及恶意应用、重打包应用和仿冒应用。得益于广泛的前人研究,移动应用业界(下文简称“业界”)对各类恶意、重打包应用具备充分理解,衍生出了对应检测机制与防护措施。然而,近年来Android安全相关研究多聚焦于恶意、重打包应用,学术界对仿冒应用进行的研究较为匮乏,Android移动应用安全仍有隐患。目前,
肥胖症是当代社会最常见的营养失调引起的疾病之一。准确识别并给出食物中的脂肪含量和热量,可以有效控制肥胖症的患病率。而实现这一步的前提是能够对食物进行有效分类,但是手动分类食物已不再适用于当前快节奏的社会。食物类别众多,且许多食物类别之间相似性高,导致分类难度较大,可以将其归类为细粒度分类问题。在细粒度图像分类中,双线性卷积神经网络模型的计算成本和表达维度较高,若能在降低双线性结构计算成本的同时还能
软件定义网络(software-defined networking,SDN)是一种新型的网络结构,与传统网络不同的是SDN分离了网络中的控制平面与数据平面,其中控制平面由逻辑集中的控制器组成,数据
当今社会正处于高速发展大数据时代,亟需开发和设计容错性更高、安全性更强、更加可靠的计算机系统。计算机系统的可靠性和容错性很大程度取决于其互联网络的性能。图作为互
图像去雾作为图像复原的重要组成部分,在自动驾驶领域具有重要意义,吸引了大量学者的关注和研究,相关的研究成果层出不穷。本文主要关注基于图像复原的单幅图去雾方法,此类方
功能梯度材料(Functional graded materials,FGMs)是一种材料组份或/和微观结构随空间位置连续变化的非均匀材料,其具有降低应力/温度集中、控制变形和抵抗接触损伤等能力。