基于Hadoop技术的出租车GPS数据分析系统

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:WEIFINDYOU
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术发展,在智能交通行业,传感器、采集装置的普及装配等各种电子采集技术的发展,交通信息数据的数据量迅速激增。面对交通拥堵、交通资源利用不合理、交通事故频发等日益严重的交通问题,传统的数据分析模式已经不能利用现实生活中产生的大数据信息进行分析解决现实中的交通问题矛盾。出租车GPS信息是交通大数据信息中具有代表性的交通数据信息,通过对某城市出租车GPS大数据信息的分析,可以直接有效的得到该城市的交通运行特性。利用交通特性的分析结论,可为解决交通矛盾,优化交通资源利用,制定行之有效的交通管理政策,提供合理的出行建议等提供数据支持和策略依据。本课题进行研究时讲述了课题开展的背景及意义,并且对国内外在出租车GPS大数据的分析及处理的研究现状。对出租车GPS大数据分析系统的搭建及应用中用到的HDFS、YARN、Sqoop、Spark等关键技术的进行了阐述及技术特性分析。在搭建系统时首先需要搭建开源的Hadoop大数据处理平台,对选用的Hadoop大数据处理平台软件以及后续数据分析需要用到的组件进行选择论证,通过集群部署与管理,搭建起此次出租车GPS大数据分析的集群管理环境。利用Hadoop平台中的核心组件HDFS对大数据信息进行分布式存储和管理,Spark并行计算框架对GPS大数据进行预处理及GIS地图进行匹配并清洗数据从而得到分析的数据源,从乘客的出行时间、乘客出行空间两个角度展开,利用聚类算法对出租车GPS数据进行交通特性分析,最终用Sqoop工具将分析结果进行数据导出,并进行分析结果演示。通过对出租车GPS数据的分析结果,结合城市文化信息,得到乘客的出行量出行时间等特性分布,以及出租车空车率、单次出行时耗、平均出行时耗、出发热点区域分析及到达热点区域分析等该城市的交通出行特性,可以为交管部门提供管理依据,为居民出行做出出行指导。
其他文献
激光熔覆陶瓷颗粒增强金属基复合涂层,能将金属材料较高的强度、韧性和良好的工艺性能与陶瓷材料优异的耐磨、耐蚀、耐高温及化学稳定性有机结合起来,极大地提高材料的表面性能
目的:研究TAP直接作用于大鼠胰腺腺泡细胞时是否诱导了HMGB1的表达释放,从细胞领域初步探讨急性胰腺炎早期的TAP与晚期的HMGB1之间是否存在着正向的必然联系,以及EP对HMGB1的
<正>詹宁斯灾难护理管理模式(The Jennings Disaster Nursing Management Model),由美国俄亥俄州克利夫兰州立大学教授Andrea Jennings-Sanders于2004年提出。该模式最初运用
试验针对抽油泵柱塞表面进行研究,在35 钢表面激光熔覆镍基自熔合金,通过改变工艺参数,观察并测定熔覆层的组织结构及其腐蚀、磨损性能,并与火焰喷焊工艺进行性能比较,优化工
材料在循环载荷作用下产生的塑性变形的逐渐累积现象称为棘轮效应。棘轮问题的危害性引起了国内外学者的广泛重视,其研究已经成为热点方向。蠕变是金属材料在恒值应力作用下
在焊接过程中,焊接热影响区的晶粒发生严重长大粗化,使材料的塑性、韧性急剧下降,焊接接头性能降低。为此,本文采用MC法对焊接热影响区的晶粒生长过程进行模拟,预测焊接热影
目的对高效液相色谱法进行药物中阿莫西林含量测定的方法进行研究。方法进行高效液相色谱检测系统构建基础上,对其各项参数进行设定后进行药物中阿莫西林含量测定试验,并对试
毫米波频段是目前雷达、导航、卫星通信技术开发应用的主要频段之一。为了实现更远的通信距离和更强的抗干扰能力,毫米波大功率资源的获取仍然是一个关键问题。随着空间技术
研究目的:一、整理总结《黄帝内经》中关于人体骨与运动的理论,探讨中医伤科治疗骨折中夹板固定和练功疗法的理论源流;二、根据中医伤科固定骨折的指导理论,设计动物实验,探讨
多源信息融合是对来自多个信息源的信息进行多级别、多方面、多层次的处理,产生新的有意义信息的方法。本文以运载火箭飞行测量数据为研究对象,采用多源信息融合的处理方法,