论文部分内容阅读
本文的研究内容属于211工程三期公共服务体系建设项目“中国教育和科研计算机网主干网和重点学科信息服务体系升级扩容工程”。其主要研究目标是：针对流经CERNET主干网中的IP流记录具有持续性和海量性的特征,通过对IP活动库数据模型,插入机制,查询机制和存储空间管理的研究,建立起满足CERNET运行管理和安全保障所需的IP活动库,从而支持用户对IP流记录的查询以完成流活动分析。本文的主要任务是设计并实现IP活动库的数据模型,数据插入算法,实时查询算法,周期性维护算法和系统功能。IP活动库的数据模型包括数据生命周期模型和数据管理模型。针对到达IP活动库的CERNET流记录具有海量性和持续性的特征,以及IP活动库存储空间的有限性,论文研究IP活动库中流记录的生命周期形态,并基于生命周期形态转变,设计了数据生命周期模型。同时,基于生命周期模型,完成数据管理模型,从而实现IP活动库流记录的动态生命周期。IP活动库的数据插入算法包括流记录解析方案和设计流记录插入机制。针对到达IP活动库的CERNET流记录采用的是Netflow9动态模板,论文设计CERNET流解析方案,完成对IP流记录的解析。另外,考虑ElasticSearch优越的查询性能选取ElasticSearch作为后台数据库,完成对IP活动库的插入。IP活动库的实时查询算法包括用户界面,复杂查询和实时查询方案。论文针对用户需对IP活动库进行交互式分析,设计并实现简洁清晰的用户界面。论文针对用户的复杂查询,设计单值、多值和批量查询函数。论文针对IP活动库的分布式架构,数据的海量性特征,设计实时查询方案,支持用户对IP活动库实时查询。IP活动库的周期性维护算法包括周期性合并,周期性压缩和周期性删除。论文针对CERNET流记录的持续性和海量性,IP活动库的存储空间有限性,以及数据生命周期模型的动态性特征,设计周期性合并方案,周期性压缩方案,周期性删除方案,完成了数据生命时期的转换和IP活动库存储空间的压缩。IP活动库系统的包括插入功能,查询功能,周期性维护功能,监控功能和异常处理功能。论文通过分析数据插入,实时查询,周期性维护实验结果,设计并实现IP活动库的插入功能,查询功能和周期性维护功能。同时,论文针对IP活动库运行时可能存在不稳定或异常的状况,设计并实现了监控功能和异常管理功能。从而实现了IP活动库的正常运维。