基于概念漂移的异常检测技术研究

被引量 : 7次 | 上传用户:yan1982zi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器学习中,经常存在一些与正常数据或现有的一般规律不符合的数据,这些对象就是异常数据,但在实际应用中,这些数据经常被人们忽视。实际情况是,这些数据可能具有特殊含义,在异常检测领域,由于它们比正常数据包含更多的有用知识,它们是研究的重点,通过发现其中的规律可以迅速地对异常情况作出准确的判断和处理。在大多数系统中,传感器接收到的数据都是快速、实时、无限的。传感器数据是以数据流的形式传输到数据处理中心的,这给传统的异常检测技术带来了挑战。同时,在数据流中,行为模式随时间的改变可能会发生变化,即出现了模式的正常变化,也就是概念漂移。如何能够适应概念漂移也是异常检测领域的研究重点之一。本文采用数据挖掘和基于统计的方法来对整个传感器数据进行建模,从中识别出异常数据,包括对单个数据点进行检测的点异常和连续一段时间出现的模式异常。为用户提供一种有效的进行数据流异常检测的方式,以解决发生了概念漂移的数据流中异常数据的诊断问题。对于异常点的检测,使用数据挖掘中的递归神经网络技术,提出了使用递归神经网络(Recurrent Neural Network,RNN)进行异常点检测的方法,RNN模型能够有效地对传感器采集到的无明显规律的时间序列数据进行拟合,由于模型本身的时序性,该模型比多项式拟合和基于BP(Back Propagation)神经网络的拟合模型有更好的拟合效果。对于从大量数据中去掉离群点或噪声点有很重要的作用。对于异常模式的检测,由于需要考虑到概念漂移的情况,即模式的正常变化。本文提出了一种全新的思路和方法,将马尔科夫过程的思想应用于异常模式的检测,提出了模式转移的概念。在此基础上提出了基于Kmeans-马尔科夫模型的异常模式检测方法。能够较准确地适应概念漂移的情况。然后尝试将该方法应用于模拟数据和本文相关项目的流数据中,并与现有的基于SAX(Symbolic Aggregate Appro Ximation)的异常检测方法进行了对比,本文提出的异常模式检测方法能够较准确检测出流数据中的异常模式。
其他文献
机器博弈目前是人工智能的一个重要研究领域,成为验证了人工智能各项成果的良好平台。非完美信息博弈作为机器博弈中的一个重要分支,相比于对手信息透明的完美信息博弈,更接
曹雪芹的祖上曹锡远,早在后金时期就加入了满洲旗籍,隶属满洲正白旗。到了曹雪芹这一代,曹家已经在满族中生活了100多年,满族文化已经渗透到了曹家的方方面面。曹雪芹笔下的
目的:观察探讨心理康复对创伤性截肢患者不良情绪和生活质量的影响。方法:选取2016年01月至2017年12月我院接收治疗的创伤性截肢患者90例,根据干预方式不同分为观察组和对照
云存储技术是在信息大爆炸,网络出现了信息拥堵的情况下应运而生的,该技术能够整合网络中大量不同类型的存储设备,对外提供统一、标准的存储访问服务。本文设计并实现了一种
论文受2010年国家自然科学基金项目“设备突发大故障的自组织临界态辨识与风险度量研究”(批准号:51075060)资助。在现代生产制造环境中,高竞争力的产品生产周期是芯片封装测
高压开关肩负着保护电气设备、确保电网正常运转的重任,可见其在电力系统中的作用不容忽视,故必须提高高压开关关合、隔断线路的准确性和及时性,但这主要取决于其机械特性,所
介绍了NGN网络的概念、基本特征、优势和关键技术,其中关键技术包括软交换技术和IMS,围绕NGN体系结构讨论了NGN网络所必须解决的技术条件和环境因素,还从功能特征和通信属性2
随着医学模式的不断改变,越来越多的产妇主动要求医生给予产时镇痛.到目前为止,腰麻一硬膜外联合阻滞分娩镇痛在全球范围内被广泛接受,在我国内也得到了逐步推广.采用腰麻一
阐述了采用P.042.5R早强水泥浇筑C50混凝土的工艺质量控制。
取向硅钢具有高磁感、低铁损的特性,主要用于制作各种变压器铁芯和大型发电机的定子铁芯,是电力、电子和军事工业中不可缺少的重要软磁材料。传统取向硅钢生产时必须对铸坯进行1350℃以上的高温加热,使铸坯中粗大的MnS和AlN等重新固溶在基体中,再在热轧过程中析出细小而弥散的抑制剂,从而抑制初次晶粒的长大。但是高温加热会导致几乎5%的烧损、能源浪费、成材率低和磁性能不稳定等一系列的问题,因此降低铸坯加热温