基于S4框架的并行复杂事件处理系统

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:hezhimou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会是一个信息爆炸的社会。一方面,由于离散的数据源的数量的增加,比如标签、博客、传感技术等等的发展,使得信息处理系统所需要进行处理的数据量大大增加。另外一方面,实时搜索、高频交易、社交网络等新应用的出现,将传统数据处理系统所能做的推向了极限。海量具有时效性的数据需要得到实时的复杂计算。复杂事件处理技术的出现正是为了解决这类广泛而又特殊的问题,其应用领域几乎覆盖所有行业。其主要面临两方面的挑战:一是新应用对事件间关系的分析能力要求较高,需要实时地分析事件之问的因果关系、成员关系和时间序列关系等。而且由于复杂事件处理的应用通常都和某一个具体应用场景相关,这需要让那些非计算机的普通人员也能方便高效的定义数据间的关系。二是数据流量非常大。面对多个高速数据流,复杂事件处理系统需要快速分析继而快速决策,用户通常希望尽快得到结果,所以这对系统的吞吐量提出了更高的要求。   本文正是针对以上的实际需求深入地开展了研究,并取得了一定的进展。取得的主要研究成果如下:   1.设计了十四种操作符的功能以及其EPL(Event Processing Language)语句的实现。   在系统中,把操作符看作事件处理中功能上的一个基本单位。各种操作符组合,以共同完成对于复杂事件的处理。操作符的类别,按照功能分为四类:过滤、变形、模式监测和系统辅助。本课题设计了操作符的功能以及其对应实现的EPL语句,采用图形化的界面实现操作符。不仅使单个操作符的功能具有实用性,而且使多个操作符组合后能够满足对于事件分析的需求。   2.设计了在S4框架下搭建并行复杂事件处理系统的方法。   YahooS4是一个通用的、分布式的、可扩展的、分区容错的、可插拔的基于事件流的系统。在以操作符作为计算的基本单位的基础之上,利用S4编程框架,一个PE对应于一个或者多个操作符来进行并行CEP系统的搭建。由S4完成PE到物理节点的映射工作,PE的初始化和迁移也由S4来管理,从而完成了并行CEP系统的设计。实验证明并行CEP系统能有效地提高系统的吞吐量。   3.设计负载分流的解决方案。   本文给出了六个操作符的负载分流的基本解决方案。其中包括五个无状态的操作符和一个有状态的操作符。无状态的操作符包括过滤操作符、映射操作符、分裂操作符、合并操作符和查询操作符。有状态的操作符是聚集操作符。将操作符的输入流拆分以后,原任务不受任何影响。实验证明分流方案能进一步提高系统的吞吐量。
其他文献
随着企业的信息系统越来越庞大,产生的客户数据量越来越多,为了从这些数量不断增加的客户数据中获得“唯一的准确版本”,很多企业开始部署企业客户单一视图(ECIF)。它被认为是探知客户数据真相的途径之一,它创建和维护着一个企业内主题域和系统内相关客户数据以及跨主题域和系统间相关客户数据的实时性、一致性和准确性。但是ECIF实现起来并不容易,在企业进行部署时会面临巨大的障碍,包括人员、流程、管理和费用等许
在当前科技大环境下,互联网技术几乎已经普及到人类社会的所有领域,数字图像作为互联网中信息的重要传播媒介呈现爆炸式增长态势。海量的数字图像信息在为人们的生活和工作带来
软件复用可以有效地减少在项目开发中的重复劳动。随着开源软件的快速发展,Internet上出现了越来越多质量高、应用广的开源项目。在软件复用实践中,开源软件逐渐成为了可复用
随着互联网和大数据技术的高速发展与深度融合,互联网广告已逐步成为一种新兴的商业模式,并已成为广告主最有效的营销方式和互联网企业最重要的营收来源。在互联网广告中,关键字
微分代数系统是一类具有普遍性且能够精确刻画现实运动的系统模型。该系统大量存在于电力系统、受限机械系统、计算机辅助设计、机器人系统和化学工程等复杂系统中。其中,微分
最小顶点覆盖问题是经典的NP难组合优化问题,有着重要的理论恿义和广泛的应用。给定一个无向图,顶点覆盖是指该图的一个顶点子集,使得图中每一条边都至少有一个点属于该集合
随着互联网技术的快速发展及应用范围的不断拓宽,网络已成为人们生产、生活必不可少的一部分。网络安全不仅影响着人民财产和个人隐私,甚至影响到国家安全。僵尸网络作为一种
随着“低碳生活,绿色出行”概念的提出以及北京市各种公交优惠政策和私家车限行政策的出台,公交车成为了越来越人的出行代步工具,而北京市的交通路况复杂,公交车出行存在很多
学位
心脏疾病一直严重威胁着人们的生命,心电图广泛应用于心脏疾病诊断中。但是心电波形中的畸异波大大增加了计算机自动识别心电波形的难度和识别的准确性。本文提出了心电畸异