论文部分内容阅读
随着信息技术的迅速升级和移动通信网络规模的持续扩大,移动网管中心每时每刻都会收到大量的告警数据,使网络监控系统的负担越来越大。告警相关性分析可以挖掘告警数据中的相关规则从而搜索与故障相关的根源告警,是网络管理的主要部分。另外,计算机网络的持续发展使通信网络的安全问题也开始倍受人们的重视,入侵检测技术是检测及防御网络威胁行为的重要手段。因此,研究如何构建有效的机制帮助网络管理人员进行网络故障诊断和入侵检测显得尤为重要。本文主要研究内容如下:(1)根据目前已有的告警相关性分析方法以及入侵检测技术的实现策略,对其进行了分类和总结,并重点论述和分析了普遍应用于告警相关性分析和入侵检测的经典数据挖掘算法。接下来介绍了移动通信网络系统的基本组成结构,然后引入了通信网络中告警和故障的相关概念,并根据移动运营商所提供的真实告警数据从多方面对告警数据特征进行了分析;最后给出了告警数据分析的流程结构以及本文中告警数据预处理的相关过程和处理结果。(2)提出了一种基于加权的告警分析方法。该方法考虑到通信网络中不同类型告警对网络的影响程度不同,首先采用熵值法为不同类型的告警分配不同的权值,并将告警数据转换成序列数据集;然后系统地设计了一种加权告警序列模式挖掘算法来搜索告警数据集中的加权告警序列模式,并采用了一种新颖的剪枝策略来缩减需要搜索的数据集大小,从而提高算法效率。通过对移动通信网络真实告警数据分析的结果表明,该告警分析方法在剪枝效果、挖掘重要告警序列模式和执行效率方面都具有很好的性能。(3)设计了一种基于MapReduce框架的并行异常检测算法进行网络入侵检测。该算法针对局部异常因子(Local Outlier Factor,LOF)算法中重复点对局部异常因子(LOF值)的影响和计算复杂度高的不足,重新定义了k-邻近距离以避免某些重复点的LOF值无法计算的情况;同时将整个数据集逻辑地划分成若干个数据块,并利用MapReduce原理使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行。然后,将每一个数据块中LOF值大于指定阈值的数据点合并后进一步更新其k-邻近距离和LOF值,得到最终异常数据。最后,通过对真实网络入侵数据的异常检测结果表明,该方法检测网络入侵的异常数据时在准确度、灵敏度和执行效率方面都有很大的优势。