基于多粒度Top-k查询的流式数据事件获取方法研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:wanglt111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流式数据是一个随着时间的不断延伸而不断增长的动态数据的集合,其数据能够实时到达,且到达次序独立,不受各种应用型系统的控制;数据的规模宏大且不能提前知道它的最大值;数据一旦被处理,除了特意保存之外,不允许再次被取出处理,或者再次提取所花费的代价昂贵。传统的数据分析和流式数据分析处理主要在查询和处理方式上有所不同,传统数据分析处理是静态过程,当系统不繁忙时将数据批量导入数据仓库中,而流式数据是不断注入数据仓库中,这是一个流动的过程,动态的来处理数据。通过对流式数据的研究我们可以进行卫星云图的监测,对股市进行分析,判断网络攻击,煤矿灾害预测等。流式数据中事件的查询以及获取是研究流式数据各种操作的基础。现有流式数据应用系统中的事件查询只是针对流中的异常的数据点进行查询,而在实际的情况中,流式数据中的事件大多为一段连续时间下的异常,其中包含着时间、空间位置上的各种各样的信息,因此,传统阈值查询方法无法从不同时间及空间角度对事件进行全方面的分析,查询准确性非常低,导致根本无法获取事件的全部完整信息。针对这些问题,本文将基于多粒度Top-k查询的流式数据事件获取方法展开研究。首先对整个监测区域进行分区,提出了一种基于投影的分区方法,构建监测簇。通过基于投影的分区构建的监测簇,可以解决实际中各监测区域的监测工作面常为不规则或狭长地带;并采用k-means聚类方法在各个监测区域选取监测簇头节点,保证每个区域所选监测簇头节点可以代表这个区域;在此基础上,对各个区域的监测簇头节点进行Top-k异常簇头结点根据发生异常的严重程度进行排序,提出一种改进的Top-k查询方法;并就发生异常的监测簇头节点的排序结果,提出了一种区域交叉定位法,获取发生异常事件的簇头节点的具体位置。其次,由于每个簇头节点在不同时间粒度下均可能发生异常事件,为了获取发生异常事件的完整信息,首先,将发生异常的事件最严重的簇头节点中的不同时间粒度下的事件按严重程度进行Tok-k排序,本文提出一种基于链树的异常事件排序方法;然后基于滑动平均值法双向扩大查询范围,进一步确定异常数据的具体范围,为后续构造异常模板做准备。最后,针对本文提出的基于多粒度Top-k查询的流式数据事件获取方法进行实验的分析,通过对传统通的分区方法与本文提出的基于投影的分区方法进行实验验证,并通过对基于链树的异常事件排序与传统的排序进行比较来验证基于链树的异常事件排序的效率,实验表明,本文提出的基于链树的异常事件排序方法速度更快。
其他文献
针对保费收入预测问题,以最小二乘法拟合为依托,基于谱系聚类分析的方法,运用马氏链模型对2008-2011年大连市人寿保险月度原保险保费收入的数据进行实证模拟仿真,采用定量分
针对会计师事务所审计风险控制问题,采用文献归纳的方法,分析了现代风险导向设计的内涵和基本特征,提出会计师事务所应用现代风险导向审计的审计模式,并提出在加强信息库建设
经济全球化、信息一体化浪潮对转轨中的中国企业,尤其是大型企业集团提出了严峻的挑战。为及时了解国内外市场发展动态趋势,掌握企业自身发展的主动权,必须高度重视企业发展
主持人:我们的祖辈用烧柴做饭的方式,延续了数干年。随着岁月更序,柴灶让位于煤灶,接着煤灶又被液化气、煤气灶具取代。如今液化气己在城镇民家中普及开来,随之暴露出的安全隐患也
混煤技术是洁净煤技术的关键技术之一,通过将不同煤质特性的煤按一定比例进行掺混,以提高混配煤种的各种燃烧特性,同时以适应不同燃煤设备对煤质的要求。作为一种简单的机械掺混,混煤需要考虑不同特性的煤种按照一定比例掺混后的具有不同的燃烧特性。在适当选择煤种并进行一定比例配比的基础上,混煤可以实现各部分煤种的独特性和优势,为锅炉提供优越的燃烧条件;反之,会造成着火困难、燃烧不稳定、效率降低、结焦积灰加剧、污
目的探讨内江地区慢性乙型肝炎患者的基因型及拉米夫定联合阿德福韦酯抗病毒的治疗效果。方法将201例慢性乙型肝炎患者进行HBV基因型的测定,其中120例HBeAg(+)慢性乙型肝炎患
建立现代企业制度是国有企业改革发展的必由之路和主攻方向。近年来,国有煤炭企业面对严峻形势,向改革要出路,抢抓机遇,积极行动,不少企业实施了公司制改造,向建立现代企业制
分析高等教育公平与和谐社会之间的相互关系,阐释推进高等教育公平的意义,指出现阶段我国高等教育领域不公平现象及其原因,提出推进高等教育公平、构建和谐社会的途径。
著名经济学家钟朋荣先生认为,近年来,我国一些知名企业纷纷陷入困境,这些企业受困的具体原因虽然千差万别,但大都陷入诸如造名、多元化、资本运营、募股与负债、两权分离、投
北京隆福大厦一度仅有一只消火栓,消防水池滴水未装。消防部门针对该大厦存在的火灾隐患,先后发出31份《火灾隐患整改通知书》,但毫不奏效,最后还是让一场大火来解决问题。