海量异构轨迹数据处理系统设计与优化

来源 :武汉邮电科学研究院 | 被引量 : 3次 | 上传用户:out000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据环境下,互联网及其它行业领域中时刻都在涌现出海量数据并快速增长,而海量异构轨迹数据作为一种具有巨大的科研、经济、社会等价值的数据,对其查询显得尤为重要,传统的海量轨迹数据查询系统框架存在着数据量增大时无法满足用户实时查询的需求。本文提出了一种基于storm的海量异构轨迹数据实时处理系统设计方法,首先对原始海量异构轨迹数据进行清洗、轨迹压缩、数据归一化处理等一系列操作使其成为结构统一便于系统处理的价值数据,然后采用分布式实时计算系统storm平台对实时海量轨迹进行处理,利用kafka作为中间缓存,增加系统的吞吐量。但系统在查询的过程中会遇到节点资源分配不均衡和数据量过大超过系统处理上限时引起的宕机两类问题。针对storm默认调度机制引起的系统资源分配不均的问题,传统的基于slot低使用率优先策略的确能均匀的分配storm集群中各个节点的slot资源,但仍然会出现集群中节点CPU负载不均衡的问题,本文对传统的基于slot低使用率优先的策略进行了改进,在对集群中各个节点slot资源分配时不仅考虑其节点的slot使用率,还会考虑节点的CPU负载情况,解决了节点slot资源分配均匀但CPU负载不均衡的问题。对于集群中有新节点加入时,采用动态负载迁移算法将原集群中节点的负载迁移到新加入的节点上。针对特殊时期,轨迹数据增长过大超出系统处理上限的问题,设计了一种过载处理方法,将轨迹数据间断性的接入系统,使实时查询系统处理的数据量明显降低。通过具体业务数据对该系统进行性能测试,主要包含了引入传统基于slot低使用率优先策略的系统测试、引入改进后的slot低优先策略的系统测试、引入动态负载迁移算法的系统测试、引入过载处理方法的系统节点负载测试。最后测试结果表明基于storm的实时查询系统在不同场景所面临的负载均衡问题得到了有效的改善,系统的实时性得到了明显的提高,在数据量超出系统处理上限时,没有出现各节点过载,系统宕机的问题,能够满足海量轨迹数据的实时查询需求。
其他文献
目的探讨护理干预在妇科手术患者围手术期中术中的应用。方法将116例进行妇科手术的患者,随机分成干预组(64例);对照组(52例),对照组采用常规护理,干预组加以心理、行为,术后康复
目的分析腔镜辅助与完全腔镜甲状腺切除术治疗良性甲状腺结节的效果。方法选取2013年12月至2014年12月到我院进行良性甲状腺结节治疗患者60例,随机进行分组,其中对照组为30例
随着计算机和信息技术的发展,在诸多领域中以手工纸质为主要手段的传统数据记录方式正逐渐被信息化系统所取代。所有的信息化系统在数据采集后都会统一存储在各自计算机数据
随着数字技术、网络技术的不断发展,各种类型的视听新媒体服务应运而生,由于视听新媒体融合了传统广播电视和互联网新兴传播载体,为广大受众提供多元化的视听节目服务,也受到国家
目的:观察针刺与艾灸联合方法治疗重症肌无力型上胞下垂的临床疗效。方法:55例进行针灸治疗,10天为一疗程,治疗3个疗程后观察临床疗效。结果:痊愈48例,好转7例,无效0例,总有
建筑工程管理现状堪忧,我们应该积极探究造成这种困境的原因,并且采取对应的措施予以改善和调整.我们需要知道的是,建筑工程管理是一套复杂的系统,各个建筑工程管理行为主体
目的观察术前硬膜外隙预注小剂量吗啡超前镇痛对高龄患者术后认知功能的影响。方法选择在硬膜外麻醉下行单侧人工全髋关节置换术且麻醉效果确切的的高龄患者84例,随机均分为A
1.本课程的考核对象是小学教育专业的学生。2.本课程复习指要是依据《中国通史》(上)、(下)教材编写的,是考试命题的基本依据。教材使用林丙义主编,高等教育出版社出版的《中
目的探讨产后进行盆底肌肉锻炼(PFMT)对产后压力性尿失禁的影响。方法将192例住院自然分娩初产妇,随机分为观察组和对照组。对照组实施常规产后健康教育指导,观察组由专业助