基于Akka的分布式实时流程式计算框架的设计与应用

被引量 : 0次 | 上传用户:clj7724383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,来自各种信息源的数据也出现了爆发式的增长。因此,对于这些海量数据的处理便显得尤为重要。但是对于不同类型的数据所采用的处理策略是不一样的,例如业界比较成熟的基于MapReduce模型的Hadoop框架适合对海量静态数据的批处理,而对于源源不断的动态数据的实时处理,Hadoop并没有提供很好的策略。但本文所设计的计算框架在实时处理方面有较好的表现,可以满足对大量动态数据做实时的处理。对于这种实时处理采用了流式计算的方式进行设计。与业界一般流式计算框架不同的是,本框架支持对这些数据处理节点进行流程式的编排,从而实现一个对动态数据的流程式实时处理。本文主要对该框架的设计、实现、以及其实际应用进行阐述。(1)本文的设计是以Akka为研究基础,Akka是一个用Scala编写的库,用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用。根据Akka所实现的Actor模型的特点设计了框架中的前端处理节点(Frontend),控制节点(Master),工作节点(Backend)。其次通过这些基于Actor模型的节点分别从分布式、流式以及流程编排三方面对框架进行布局和考虑。最后通过对整个框架的结构模型和处理流程的阐述来说明该框架的实现原理和实现过程。(2)该框架的实现是基于大量流式计算(例如:Storm, Spark等)框架的设计和实现思路的研究,将其按照前端节点模块,调度模块,工作节点模块,资源管理模块四个模块进行划分和设计,并且对每个模块的职责、实现原理以及实现过程做了详细的说明。(3)对于框架的应用,首先介绍了框架的实时计算,批次计算,响应性查询等使用场景,并通过“碰撞问题”和“资源实时搜索”两个实际应用进一步阐述框架的使用,通过对实验的过程、结果的阐述及分析来说明框架的实际应用效果。本文通过对该流式计算框架的研究,不仅可以为在分布式系统中对大规模数据做实时计算需求的开发者提供解决方案,而且提供了设计响应式流式计算框架的实现思路。
其他文献
选择一个怎样的发展战略,这不仅直接影响着一个国家的社会进程,而且,也影响到整个人类的未来命运。因此,探索合理的发展观已成为国际社会所共同关注的焦点。可持续发展战略的提出
本文研究了按照我国会计准则确认计量的并购商誉对公司业绩的影响,并进一步分析了市场集中度对并购商誉与公司业绩关系的影响。基于我国A股非金融类上市公司2007年至2012年并
审计契约的内外两个层面分别为审计质量提供执业胜任能力与独立性的支持。利益主体在人格化上的分化使得外部审计契约采用了正式契约和非正式契约两种形式,共同为独立性提供
动力头是旋挖钻机的关键部件,其性能好坏直接影响钻机整机性能的。文中介绍了TR 180旋挖钻机动力头的结构设计,着重分析了齿轮箱传动系统、滑动支架总成和缓冲装置。
建立了反向器与滚珠的三维装配模型,基于Pro/E-ANSYS Workbench-LS DYNA对端塞和外插管反向器进行了动力学联合仿真,研究了反向器与滚珠发生碰撞时反向器的应力应变情况,得到
<正>根据国家梨产业技术体系文献报道,进入6月,库尔勒香梨红蜘蛛开始大发生,库尔勒综合试验站兰干乡示范园的果农在该站技术人员的指导下,将一袋袋捕食螨放入香梨树上,此项技
在呼吁中国文学“走出去”的大环境下,中国儿童文学近年来也迈开了“走出去”的步伐,且已有了非常成功的例子,前景一片光明。虽然如此,中国儿童文学要在世界儿童文学版图上拥
本文从会计相关性对内部报告的需求出发,首先探讨了企业内部报告的内涵,明确了企业内部报告与外部报告的关系,以及企业内部报告的主导地位。在此基础上,分别从企业内部报告与
语法教学在语言教学中扮演了重要的角色。通过语法学习,学习者可以去学会目标语言,并且能够提高语言运用的综合能力。与传统的语法教学相比,很多教师对于语法教学的认识已经
在韩半岛新罗神话中,始祖赫居世与夫人阏英的诞生,是构成新罗始祖诞生的神话的重要内容。下面我们将集中笔墨,详细考察一下赫居世的夫人阏英诞生神话与中国西南白族母鸡龙神