论文部分内容阅读
HINOC是我国自主研发的一种用于连接光纤网络和用户家庭网络的新型宽带接入技术。该技术在FTTB的基础上,利用小区楼道和户内已经敷设、分布广泛的有线电视同轴电缆,构建高速的信息接入网[1]。目前成熟的HINOC 2.0接入技术可支持单通道1Gbps双向通信,平均延迟小于2.5ms,各项性能指标远超同类同轴通信技术[2]。与此同时,HINOC技术的产业化也在同步推进过程中。2017年,HINOC试验网在江苏常熟和宿迁两地部署,进行实网测试和用户真实体验。经权威机构对HINOC技术的严苛测试,确认该项技术的所有指标可以与光纤技术媲美。随着HINOC 2.0技术的逐步商用,HINOC的网络规模和用户数量不断增长,HINOC设备的日常运行监控和维护变得越来越困难,构建自动化和智能化的实时数据采集和分析系统对HINOC网络的质量管理工作意义重大。近年来,大数据以及云计算等技术发展迅猛,并向各行各业渗透,标志着大数据时代的到来。通信网络的数据采集和分析则是可以充分发挥大数据技术优势的应用场景之一。HINOC提供了大量的网络状态信息以及设备统计信息,结合大数据技术可以对这些信息进行高效的采集、存储与分析,挖掘对网络管理有价值的信息或者辅助问题决策。本文以HINOC网络中的网络状态数据和设备统计数据为研究对象,着眼于数据的采集、存储、分析和展示,对当前主流的大数据存储和处理框架以及数据可视化技术进行研究,构建了自动化和智能化的HINOC网络实时数据采集和分析系统,以下简称数据采集与分析系统。论文的重点工作是数据采集与分析系统的设计与实现。通过对系统进行需求分析和整体设计,将整个系统划分为数据采集、数据存储、数据处理和数据可视化四个模块。数据采集模块负责对各个HINOC网络的网络参数进行统一、规范、高效地采集,为整个系统提供高质量的数据来源。数据存储模块主要负责系统中各类数据的可靠存储与高效访问,针对数据库检索海量数据较为缓慢的问题,提出了组合索引的解决办法,将检索速度提升到了毫秒级。数据处理模块负责对数据进行清洗、转换、整合与持久化,提供低延时和高吞吐的数据处理服务。数据可视化模块负责将HINOC网络的实时运行状态和数据的统计分析结果进行可视化显示,针对实时监控页面数据更新不及时的问题,提出了将监控数据维护在内存中,并通过服务端主动推送的解决办法,极大提升了实时监控数据的响应速度。最后,需要对本系统进行功能和性能测试,以验证是否达到了设计目标。通过实际环境的测试,系统的实时监控、数据分析以及历史数据查询等功能全部实现。同时系统在数据接入、数据分发和数据处理等方面的性能表现优秀,符合预期设计要求。