分布式流计算框架容错功能的设计与实现

被引量 : 5次 | 上传用户:dxy_10121012
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流计算是对实时数据流处理的研究,其理念是基于数据隐含价值随着时间的流逝而降低,所以数据出现后需要尽快处理。而在各种解决方案中,分布式流计算框架因其具有很好的扩展性,易用性和灵活性而受到业界的普遍欢迎,本文即着手设计和实现分布式流计算框架中最为关键的容错功能。首先,本文立足于分布式流计算框架的研究背景和目前的研究走向,阐述容错功能对分布式流计算框架的重要意义,并提出了设计和实现容错功能的设想,介绍了实现分布式流计算框架容错功能所需要的关键技术。接下来,本文以开源的分布式流计算框架S4(Simple Scalable Stream System)为依托,详细阐述分布式流计算框架的容错功能需求分析,主要包含三大部分:处理节点容错功能、处理节点间网络通信容错功能和处理节点计算容错功能。处理节点容错功能实现节点本身的可靠性,处理节点间网络通常容错功能实现网络通信的可靠性,处理节点计算容错功能实现应用程序处理结果的可靠性。最后,本文对分布式流计算框架各容错功能进行详细设计和实现。处理节点容错功能采用的是温备份复制技术,定时的保存处理节点的状态信息到第三方的数据库MongoDB中,恢复处理节点时从MongoDB中获取节点最近保存的状态信息并初始化新创建的节点;处理节点间网络通信容错功能采用开源的网络通信库ZeroMQ实现,ZeroMQ对消息差错处理和网络连接故障处理均具有较好的容错能力;处理节点计算容错功能采用多版本的软件容错技术屏蔽系统运行中可能发生的各种故障。论文末尾对主要的容错功能模块进行了相应测试和分析,指出容错功能使分布式流计算系统具有较好的可靠性和健壮性,同时,简要概括论文有待改进的方面以及下一步的工作。
其他文献
本文以20世纪90年代后期以及21世纪初的几部女性电影作品为研究文本,试图论述这几部女性电影的两个转向:其一是近期女性电影从性是生成的到性是流动的观念的转变及由此带来的
英语谚语是英美等国人民的口头创作。它语言精练、形象生动,凝集着人民群众的生活实践经验。在英语谚语汉译过程中,切忌望文生义,要注意其口语化、民族性和原有的语言艺术性,
在国际贸易中,思维方式、价值观念、风俗习惯、语言现象等文化差异成为国际贸易中跨文化交流的无形壁垒,对语言与文化要素的差异性及其影响加以分析,有效实施跨文化交流,是打
批评家往往将《戴茜·密勒》解读为欧洲文化与美国文化的冲突体现,忽视对小说所刻画的旅欧美国侨民场域进行细致考察。而实质上戴茜所受到的排斥主要来自于本国同胞,小说体现
<正> 加拿大当代女诗人、小说家兼文学批评家玛格丽特·阿特伍德(1939—)在她的诗歌和小说创作中,始终不渝地探讨加拿大人的“生存”问题:移居加拿大的人面对荆棘丛生、满怀
暹罗自始是南洋华侨主要聚居地之一。早期,占全暹人口数比重较大的华侨多从事工商业,有一定的经济势力,且与暹人相处和睦。1910年,新税制的实施成为暹华两族关系的转折点,拉
居民对博彩旅游业在环境和青少年价值观方面的负面效应有着强烈的感知,在国际化和地方形象方面,有强烈的正面认同,在传统文化方面有较强烈的正面感知。在经济方面,相对于就业
本文主要依据1996—1999年北京妇女热线的100个家庭暴力受害者的来话资料,分析受害者对家庭暴力的态度及其寻求社会支持的情况。研究结论表明,家庭暴力受害者在暴力发生时和
目的:观察辨证施护对慢性阻塞性肺疾病稳定期中医证候评分及肺功能的影响。方法:将符合纳入标准的本病患者64例,随机分为治疗组和对照组各32例,对照组采用常规治疗及护理,治
在网球比赛中移动步法是影响网球技术掌握的重要因素,良好的步法移动是做好完整技术动作的重要保证。随着网球技术的高度发展,步法越来越显示出它的重要性。本文在认识到步法