HINOC网络实时数据采集与分析系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:liongliong515
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HINOC是我国自主研发的一种用于连接光纤网络和用户家庭网络的新型宽带接入技术。该技术在FTTB的基础上,利用小区楼道和户内已经敷设、分布广泛的有线电视同轴电缆,构建高速的信息接入网[1]。目前成熟的HINOC 2.0接入技术可支持单通道1Gbps双向通信,平均延迟小于2.5ms,各项性能指标远超同类同轴通信技术[2]。与此同时,HINOC技术的产业化也在同步推进过程中。2017年,HINOC试验网在江苏常熟和宿迁两地部署,进行实网测试和用户真实体验。经权威机构对HINOC技术的严苛测试,确认该项技术的所有指标可以与光纤技术媲美。随着HINOC 2.0技术的逐步商用,HINOC的网络规模和用户数量不断增长,HINOC设备的日常运行监控和维护变得越来越困难,构建自动化和智能化的实时数据采集和分析系统对HINOC网络的质量管理工作意义重大。近年来,大数据以及云计算等技术发展迅猛,并向各行各业渗透,标志着大数据时代的到来。通信网络的数据采集和分析则是可以充分发挥大数据技术优势的应用场景之一。HINOC提供了大量的网络状态信息以及设备统计信息,结合大数据技术可以对这些信息进行高效的采集、存储与分析,挖掘对网络管理有价值的信息或者辅助问题决策。本文以HINOC网络中的网络状态数据和设备统计数据为研究对象,着眼于数据的采集、存储、分析和展示,对当前主流的大数据存储和处理框架以及数据可视化技术进行研究,构建了自动化和智能化的HINOC网络实时数据采集和分析系统,以下简称数据采集与分析系统。论文的重点工作是数据采集与分析系统的设计与实现。通过对系统进行需求分析和整体设计,将整个系统划分为数据采集、数据存储、数据处理和数据可视化四个模块。数据采集模块负责对各个HINOC网络的网络参数进行统一、规范、高效地采集,为整个系统提供高质量的数据来源。数据存储模块主要负责系统中各类数据的可靠存储与高效访问,针对数据库检索海量数据较为缓慢的问题,提出了组合索引的解决办法,将检索速度提升到了毫秒级。数据处理模块负责对数据进行清洗、转换、整合与持久化,提供低延时和高吞吐的数据处理服务。数据可视化模块负责将HINOC网络的实时运行状态和数据的统计分析结果进行可视化显示,针对实时监控页面数据更新不及时的问题,提出了将监控数据维护在内存中,并通过服务端主动推送的解决办法,极大提升了实时监控数据的响应速度。最后,需要对本系统进行功能和性能测试,以验证是否达到了设计目标。通过实际环境的测试,系统的实时监控、数据分析以及历史数据查询等功能全部实现。同时系统在数据接入、数据分发和数据处理等方面的性能表现优秀,符合预期设计要求。
其他文献
瓶装矿泉水在我国零售行业占有巨大市场份额,是日常生活中必不可少的饮品。但是,由于现存的生产设备和检测设备有很多不足,在矿泉水的灌装过程中可能包含可见的悬浮物,例如纸
学位
当前社会中信息技术的不断发展和应用越来越受到人们的关注,信息技术也在很大的程度上方便了广大群众的生活。大数据、人工智能等技术相关的应用渐渐的出现在大众的视野中,随之而来是,人们的需求也不断地提升,人们需要从海量的互联网数据中提取中自己所需的信息。因此,研究者和学者们将人工智能技术应用到自然语言处理领域中,出现了自动文摘、文献查重、文本分类与聚类、自动问答系统等一系列应用,极大的方便了人们的生活,这
学位
随着焊接制造领域对自动化焊接与智能化焊接的迫切需求,因CO2焊诸多优点,基于视觉的CO2焊焊缝跟踪技术在航天、汽车等工业中的应用急剧上升,其焊缝及熔池图像获取方法和处理
学位
激光雷达(Light Detection and Ranging,Li DAR)是近二十年来快速发展的一种新型、高效的三维空间获取技术,它能直接获取地物表面的三维空间信息。Li DAR获取的数据结构形式为物体表面点云,它由许多密集或稀疏的单点组成,包含了物体的三维坐标、反射强度和颜色信息,是进行逆向工程(Reverse Engineering)模型重建的基础数据源,它为三维数字城市研究尤其是建筑物
学位
网络空间治理问题事关国家安全和社会长治久安,是新时代我们面临的一项新的综合性挑战。十八大以来,我们党将网络空间治理摆在了极高的战略位置,进行了一系列的探索性实践。对这些具体的网络空间治理的探索实践进行归纳和梳理,并总结其经验和价值,对于我们更好地审视新时代的网络空间治理工作,推进网络治理能力现代化具有重要意义。首先,对核心概念进行界定。治理是对过去传统权威式、单一式管理的摒弃和超越,强调参与主体多
学位