论文部分内容阅读
随着科技的不断发展,人们对通信网络的要求越来越高,而故障管理是网络管理中的重要组成部分,实现故障管理的第一步是发现网络中存在的故障。传统的网络故障检测方法严重依赖于已有的告警数据。但是利用告警数据只能在已有的知识范围内对已经掌握的故障进行分析,并且需要预先人工构造知识库。与此同时,常常被忽略的是,网络无时无刻不在生成大量的日志数据,这些日志数据蕴含了大量的信息,通常,这些日志没有被很好的利用。本文围绕网络生成的日志展开研究,利用日志来分析网络故障与否。使用日志来检测网络故障,重点分为两个部分.:日志的表示和故障检测算法。由于日志的非结构特性,需要进行日志向量化表示,表示策略将会影响后续故障检测和故障提取等分析的性能。本文针对日志的表示和网络故障检测算法进行了分析与探究,设计了一套完整的从日志样本表达到网络故障检测的算法。主要工作如下:第一,提出了一种新的方法来实现对网络当前所处状态的分析。在现有告警等结构数据的基础上,引入非结构的日志数据,将网络生成的日志当作类自然语言的文本,使用日志来判断网络故障与否。提出了一种基于仿真数据构造网络状态检测样本的方法,通过处理仿真数据从而不需要对网络系统的大量先验和专家知识,适用度广,也提高了数据的利用率。第二,针对日志的特征表示这一问题,提出了对日志的单词级别、事件级别和事件集级别的多粒度表示方式,并提出了针对日志文本的主题词移距离。这些表示方法对于日志不要求固定格式输入和人工特征工程,克服了现有日志处理的困难。在表示的基础上,为分析日志文本间的距离,提出了主题词移距离,在原有的词移距离的基础上引入主题信息,使得词与词之间的距离描述更加精确,为使用日志分析网络状态创造了条件。第三,在日志表示的基础上基于卷积神经网络设计了一种故障自适应检测算法,在检测已知故障的同时,同时能够结合自适应原理发现未知的故障。在自学习检测时,通过对现有样本的输出信息进行统计求得故障知识库,通过这个知识分析每种故障的置信度,进而判断故障是否是已知。而对未识别知识库进行知识提取又能扩充已知的故障知识库,从而实现在检测时同时实现未知异常自学习。训练过程可离线提前进行但运行可在线进行,且在运行时实时更新知识库,从而在应用时能快速处理日志,实现故障的自适应检测。基于仿真数据和增强数据的实验表明,本文提出的故障自适应检测算法对已知故障和未知故障都能保持较高的检出效果。