面向实时监控应用的事件流相似性分析技术的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:ssm3695
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
事件流作为数据库领域的新兴热点问题,近年来获得了日益广泛的关注。很多应用在本质上都是事件驱动的,例如,RFID采集到的元数据可以看做是一种简单事件,商业事务处理中每次交易事务或数据变化也可以作为事件,此外还包括网络报警事件监测、传感器网络监测等等。在面向实时监控的应用中,这些连续到达的事件形成了语义丰富的无界事件流。事件流是实时流数据的一种特殊形式,由于其具有无限性、瞬时性、有序性、时效性和语义丰富性等特点,传统的数据管理技术无法应对事件流管理中出现的挑战,需要探索新的技术与方法。为了从实时到达的事件流的海量事件中探测复杂事件、发现频繁模式以及进行异常事件检测等等,都需要对多维事件流之间的关系进行分析。事件流相似性探测技术是达到上述目标的重要手段,同时也是实时事件流管理的核心问题之一,具有重要的科研意义和商业价值。本文针对该问题进行了深入研究,主要工作如下:1)首先提出了事件流相似性的定义,采用带权重的编辑距离方法来度量相似度,利用动态规划方法进行计算。该度量能够较好地反映出事件流的相似程度。2)由于采用传统的编辑距离方法计算相似度具有较高的时间复杂度,难以满足面向实时监控应用的事件流的时效性,因此提出一种基于共现度的方法对以滑动窗口整体为单位的事件流进行相似性分析。该方法利用计算简单的共现度,从多个事件流中迅速过滤掉不符合条件的事件流,从而减小候选集的大小,加快相似性分析的速度。3)针对事件流的流特性,采用滑动窗口模型;同时提出一种高效的增量维护机制,最大可能地利用已有计算结果,在不影响精度的前提下提高处理速度。4)针对事件流相似区域位置随机及长度随机的特点,在固定窗口下进行相似性分析会漏掉部分相似结果,因此在窗口整体不相似的情况下进行面向局部特征的相似性查找,并给出局部相似区域的起止位置。实验和分析证明,本文提出的事件流相似性分析方法具有理论上的可行性和操作上的高效与正确性。
其他文献
随着Internet的快速发展,Web数据库得到了广泛的应用,越来越多的普通用户通过查询接口访问Web数据库以获取更多信息。当前,数据库查询处理模式通常假定了用户能够明确其查询
随着第三代移动通信(3G)网络应用的普及和发展,其自身的安全问题也日益受到人们的广泛关注。GTP协议作为3G核心网中最为重要的一种IP承载和隧道封装协议,其自身没有采用任何
随着对软件系统的连续运行性要求的提高,构件的动态演化逐渐成为研究热点,而保证构件系统的行为一致性是构件动态演化的首要问题和根本目标。不受约束的系统行为改变可能导致
随着互联网的迅速发展,各个网络服务提供商都需要为越来越多的用户提供服务,用户对应用服务器也提出了更高的要求:7×24小时全天候服务、响应速度快、I/O吞吐量高、容错性好、
近年来,实时Linux系统已逐渐被人们用作嵌入式应用软件的支撑平台。RTAI作为一种优秀的实时Linux系统,实时性、开源性、多平台支持以及可定制性为其广泛的应用奠定了一个良好的
随着信息时代的到来,计算机的普及和应用给各行各业带来了极其深远的影响。在工业控制领域,现代工业技术的快速发展为工业检测提供了众多的检测技术与手段,比起传统的测量技术具
近年来,我国高等职业教育迎来了蓬勃发展的新局面,各院校招生规模不断扩大,学校的教学管理负担越来越重。采用传统的学生信息管理模式(如直接手工管理或者开放性程度不高的管
无线传感器网络(Wireless Sensor Network,简称WSN)是计算机科学与技术学科一个新的研究领域。它涉及到拓扑控制、路由协议、节点定位、时间同步和数据融合等相关技术,其中以
图计算作为一类重要的大数据计算,应用十分广泛。伴随着图数据规模的迅速增长,人们试图使用二级存储设备对图计算系统进行扩展,以期设计更高性价比的图计算系统。但因为二级存储
随着人们对客观世界认识的不断深入,计算机应用中普遍存在的数据不确定性逐渐得到业界的关注。尽管在传统数据库领域中作为多目标决策重要手段的轮廓查询得到了广泛深入的研究