基于大数据平台的流连接算法及并行化研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:liyanliang163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,流式计算(Computing of Stream)作为大数据领域中一个非常重要的研究内容,在学术界和商业界得到了越来越多的关注。在很多实时流数据查询场景中,对流数据处理的时效性要求非常严格。随着数据规模的日渐增大,国内外出现了很多流式计算系统。其中具代表性的有斯坦福大学的STREAM系统以及Twitter的Storm系统,但上述系统对流查询算法的设计过于简单,因此不能满足较为复杂的实时流查询业务需求。流连接作为实时流查询中一个具有代表性的数据处理算法,具有重要的研究意义。随着大数据与云计算的发展,流连接算法在大数据平台上的实现正面临着新的问题和挑战,主要集中体现在以下三个方面:(1)现有的流连接算法如何在大数据平台上进行设计与实现;(2)如何提高流连接算法的效率;(3)如何结合大数据平台上实现并行化连接。本文对以上问题进行了深入的分析和研究,对流数据处理框架及其相关技术进行充分的调研。首先对传统流连接算法的窗口更新方式做了改进,提出了一种针对数据流量不稳定的窗口更新的流连接算法。通过计算连接代价模型,周期性地选择合适的更新周期;同时,针对流连接并行化,通过结合流连接语义本文设计了一种基于一致性Hash的数据流分发策略,该策略首先对连接语义进行分析生成连接计划,选择出最优的连接方案,根据连接关系将流数据分发到相同的节点中进行计算,在大数据平台上实现并行化连接。由于流数据本身具有无限且连续变化的特点,连接算法的时间和空间复杂度急剧增加,不能满足实际的应用需求,本文采用流式计算平台Storm,对流连接算法并行化实现进行了设计,最后通过实验说明算法在结果输出量、实时性等方面有较好的性能。
其他文献
[目的 /意义]从用户感知角度对公共档案馆微信公众平台服务质量评价进行深入地分析与探讨,为公共档案馆微信公众的平台技术改进和服务质量的提升提供数据支持和参考。[方法/
从心理健康教育与思想政治教育的关系研究入手,探讨高职院校心理健康教育与思想政治教育有机结合的必要性和可能性,并从发挥课堂教学主渠道作用、调动校园文化载体功能、正确
大数据带来的挑战在于已具规模的配电网运行数据具有采样尺度不同、数据断面不同、数据存在误差、数据分散等特点。针对上述特点,首先对多源数据融合中的不良数据进行重点辨
教学语言来源于生活,在生活中学语文,这是“大语文教学观”的需要。识字、阅读、习作、口语交际都与现实生活紧密相连。在语文教学中,渗透学生的生活,使语文教学返朴归真,应让语文教学回归生活。同时生活又是学生学习的源泉,是课堂教学生活化的延伸。教学中,通过“访一访,观察生活”、“演一演、再现生活”、“学一学、体验生活”等,从而引导学生走向社会,走向生活。  一、语文教学应回归生活  美国教育家华特指出:“
习近平提出的“四种人”理论具有特殊的背景和丰富的思想渊源。“四种人”是对基层干部在新时代如何更好地引领民众进行社会治理的精准定位与把握。在新时代中,以“四种人”
为提高Kalman滤波组合导航的估计精度,在考虑系统估计误差相关的情况下,提出了采用环境背景下不同传感器的有效性概率加权GPS/IMU组合导航自适应衰减记忆滤波的融合算法。通
目的:观察心脑合病患者的舌象、脉象特点,以探讨其病因病机。方法 :采用横断面设计,采集心脑合病患者的舌象、脉象信息,并分析其分布特点。结果 :982例心脑合病患者的舌象以
随着经济社会全球化的日益发展,各类危机事件的发生频率也逐步上升,如何进行危机管理成为各国政府以及全社会面临的重要问题,信息管理是危机管理中的重要组成部分,政府对相关
基于非成像光学理论,根据LED光源特性,文中提出一款由两个透镜组合形成的光学系统,其可自由转化光斑形状和大小。从基本的透镜结构出发,利用Solid Works软件,建立有微阵列结
随着时代在不断的发展,茶文化的发展速度在不断增快。人们对于茶的认识也提升,在影视化不断融入我们生活的过程之中,影视艺术传媒鉴赏的形态也在发生着变化。在文化变革方面,