论文部分内容阅读
事件流计算技术是一种新型的大数据处理技术。该项技术是在流计算的基础上结合事件处理技术,不仅可以提供大规模实时在线数据处理,同时也可以运用到情景识别,智能处理等具有一定逻辑判断能力的应用场景中。事件流计算系统是一种多组件协同的大规模分布式实时系统,其组件结构复杂,系统异常高发,样本规模小,对事件流计算系统进行异常监测方法的研究在确保大数据处理领域的可靠性和安全性方面发挥着至关重要的作用。本文在全面分析事件流计算系统的基础上,根据事件流计算系统特征提出相应异常监测方案,本文主要研究内容如下:1.针对如何描述事件流计算系统行为特征和如何在线自适应监测异常情况的问题,提出一种基于快速查找聚类中心的事件流计算系统异常监测方法。首先,通过分析事件流计算系统行为特征,结合事件流计算系统的事件状态空间和物理状态空间,构建一种系统行为描述方法,对系统行为状态进行刻画;然后,通过分析事件流计算系统的异常监测具有在线、自适应和多点监测特点,并考虑到快速查找聚类中心算法不能自动确定聚类数目的局限,提出一种结合快速查找聚类中心与外部统计测试的方法,实现系统行为状态自动识别;最后,引入自适应异常监测框架,自动调整网络结构和大小,实现事件流计算系统在线自适应异常监测。为了验证所提出的方法,本文采用真实数据集进行仿真实验,实验结果表明,该方法能够较好地刻画系统行为状态,有效地实现事件流计算系统异常监测。2.针对快速查找聚类中心算法无法充分利用数据中类别信息的局限性,并考虑到支持向量机对小样本数据分类的优点,因此,提出一种基于支持向量机的事件流计算系统的异常监测方法。首先,针对事件流计算系统特征空间具有高维性与非线性特征,构建一种改进的局部线性嵌入(SKLLE)算法对其进行维数约减,实现高维空间的线性输出;其次,利用支持向量机对系统异常行为进行训练,得到多异常分类器,实现对事件流计算系统异常信息识别;最后,采用反馈机制对多异常分类器进行迭代更新,实现系统的自适应异常监测。实验表明,该方法对事件流计算系统异常监测具有较强的鲁棒性和自适应能力。