论文部分内容阅读
在电信网络告警管理中,告警关联系统是很重要的部分,它是用于分析告警数据的专家系统。然而电信网络本身的复杂性导致获取必要的知识来为某个特定网络构建一个告警关联系统十分困难,数据挖掘为告警信息中知识获取提供了新的途径。本文以中兴通讯公司的电信网络管理平台项目为背景,参照国外电信网络告警分析系统的应用模型和基于关联规则的数据挖掘算法,重点研究了构建电信网络告警关联系统要用到的数据挖掘技术。
本文参照已有的关联数据挖掘算法,分析并建立了对告警数据库进行挖掘的数据挖掘系统,详细阐述了告警数据中的数据挖掘过程,包括数据收集与预处理、关联规则发现、规则后处理和应用三个阶段,并对于实现过程的相关问题给出解决方法。本文在分析基于关联规则的理论基础上,通过对两种关联规则算法Apriori算法和FP-Growth算法的分析对比,从效率和实现的角度出发,提出了利用FP-Growth算法对告警数据进行挖掘。FP-Growth算法直观并且容易实现,它只需要两次扫描数据库,极大地减小了I/O操作次数,提高了处理效率。
本文针对电信数据的特点和挖掘过程的三个阶段,指出了系统实现的关键技术。在数据收集和预处理的过程中,数据转换是相当重要的部分,由于其中最关键部分是将连续数据转换成离散数据,本文采取了一种基于求拐点对数量属性进行划分的方法做此工作。FP-Growth算法对内存消耗很高,不加任何处理地对大量的电信数据进行数据挖掘是不能实现的,为此对FP-Growth算法进行了扩展,通过划分投影数据库的方法使得数据挖掘来减小算法对内存的要求。
通过对算法的分析和系统的实现结果分析,用FP-Growth关联规则算法对电信告警数据挖掘是完全可行和有意义的。