多数据流协同处理技术的研究与实现

来源 :中国电子科技集团公司电子科学研究院 | 被引量 : 0次 | 上传用户:lialianing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前主流的流处理框架采用的都是分布式子任务独立计算的设计模式,分布式子任务在处理过程中彼此不发生信息交互,无法获取其他子任务的信息要素,分布式子任务间难以进行协同处理。同时,在一些流处理场景中存在具有时序性特征的数据,这类数据在进行后续的分析处理前必须完成时序同步的操作。一方面,为解决流处理框架在分布式子任务难以进行协同计算的问题,本文基于Apache Storm的流处理框架引入协同处理的模式,构建起分布式子任务间协同计算的能力。首先基于Storm实现跨分布式子任务间的实时消息传递,用于为协同计算算子分发、数据同步提供技术支撑,然后进行了分布式子任务协同计算的建模工作,并对模型中的各个模块进行了设计和实现,从而支持用户通过指定算子类型、配置算子内容实现跨子任务的协同计算。另一方面,针对多数据流的时序同步问题,本文设计了主从式结构的时序同步模块。该模块通过Akka并发处理框架进行实现,并基于Akka框架的Actor模型实现了模块中各类角色的消息交互,以及设计了模块中交互的消息类型和数据结构,确定了模块中主控节点和工作节点各自处理相应消息的流程。基于上述的研究工作,本文设计和实现了面向多数据流的实时处理的原型系统。通过相应的实验证明,该原型系统能实现多数据流的同步操作,并具备多数据流的协同处理能力。
其他文献
论述了氢化物形成的普遍性、氢化物的物理化学性质、元素周期系各类元素的氢化物类型。认为一些金属离子、非金属离子在酸性介质中与硼氢化钾(钠)作用及金属锌等强还原剂作用生
宁镇山脉中段矽卡岩型铁铜矿床的成矿深度是该地区深部找矿前景分析的重要参考因素,以往多运用地质分析法来定性讨论。通过野外调查,发现这些矿床常有少量闪锌矿伴生。初步研究
豇豆(Vigna unguiculata(Linn.)Walp)为重要的豆类蔬菜,广泛种植于世界各地,随着效益农业的发展,一些蔬菜产业化生产基地中由于常年种植豇豆,导致连作障碍问题日益突显。自毒作用是豇豆连作障碍的主要原因之一,肉桂酸作为豇豆主要自毒物质,探究其对豇豆毒害机理,对豇豆连作障碍克服研究及豇豆连作障碍低敏感品种选育工作具有重要意义。本试验以两种自毒作用敏感程度差异品种豇豆特早30号(T