论文部分内容阅读
随着信息通信设备数量和种类的不断增长,产生的故障种类和数量也开始急剧增长,如何对信息通信设备故障数据进行有效的分析和处理以便从中获取有用知识,辅助信息通信设备维护管理工作已经成为一个关键问题;同时随着信息通信设备的数量和种类的增长,网络的边界在不断外延,各类系统和设备的薄弱环节无法准确定位,如何对信息通信设备进行管理和配置以及对设备运行所产生的各类日志进行分析以便精确度量和控制风险,也成为一个关键问题。这给传统的故障预警系统带来了告警信息来源多系统数据关联度低、海量运维数据的处理能力和处理的时效性低、故障定位不精确等几个方面的问题。有效的、体系化的设备配置管理以及大数据分析正是解决这些问题的新兴技术,它不仅通过体系化的设备配置管理能够度量出信息通信设备中的薄弱环节,也可从大量的历史数据和报警日志中预测出设备故障和安全风险,对信息通信设备的维护管理工作的效率提升具有极高的意义。本文针对以上情况,首先建立大数据平台。平台以数据采集、数据存储、数据处理为主线,将数据采集层、数据存储层、数据处理层、应用层以松耦合方式架构,内部各层各模块间,实现标准化的接口和集成模式,并基于B/S服务模式的强行统一,系统展现、应用、管理等界面操作均通过Web界面方式提供,打造一个大数据一体化平台,作为故障预警系统的依托。然后对故障预警系统中用到的离群点算法深入研究,选择基于密度的局部离群点算法作为本文中的研究重点,分析了算法的优缺点并研究了当前已有的邻域查询优化改进方案,在此基础上再次对邻域查询范围做了优化,缩小了邻域查询范围并减少了原始数据预处理的时间。并且,在研究MapReduce计算框架基础上对改进后的算法进行并行化改造并在大数据平台上实现。最后,将故障诊断系统作为应用层建立在大数据平台之上,实现系统和平台的有机结合,充分利用大数据技术在海量数据处理方面的优势,解决传统通信设备故障预警系统在处理超大规模数据方面的瓶颈问题。