论文部分内容阅读
随着互联网的高速发展与广泛应用,人们的生活与工作越来越便利。但是人们在利用互联网进行生活与娱乐的同时网络上会有大量的网络流量数据产生。这些数据大部分是没有危害的,只是用于信息的交互,但肯定还是会有一些威胁隐藏在网络流量中,这些威胁可能会对网络或网络上的主机等造成不同程度的危害等。正是因为这些威胁的存在,现在越来越多的研究机构或企业开始关注网络中的数据,他们一直努力想在这些数据的基础上取得成果:有些研究者从流量数据中分析潜在的威胁,提出了各种检测算法;有些研究者分析了流量数据的特点,并利用这些数据研究网络安全,比如通过分析数据的特点研究网络安全的技术手段如防火墙等;还有一些想利用这些数据来预测趋势变化,从而提前部署安全防范措施或者改善已有的安全技术。然而,想要研究这些数据,必须要能够采集到数据。这样一来,如何快速稳健的采集、保存与分析这些数据就成了一个难题。本文首先对网络环境下的多源数据,尤其是对不同类别流量数据的特点进行了验证分析,然后在此基础上提出了一种综合的预测算法用于趋势预测,最后提出了一个多源数据采集分析框架用于采集分析数据。总之,本文的研究包括以下几个方面:1.分析了多源数据预测算法、采集方法的研究现状:研究了基于时间序列的预测算法现状;以网络流量的采集方法为例,研究了多源数据采集方法的现状;2.研究网络环境下多源数据的特点:以有线网络流量数据与无线网络流量数据为例,研究其长度、周期、自相似特征等特点及其分析方法,并对多源数据的特点研究做出总结;3.研究了多源数据趋势预测模型:研究了FARIMA模型,在此基础上提出一种新的基于小波变换与时间序列相结合的算法用于多源数据预测,并用真实的网络流量数据进行了实验,经实验分析表明该预测算法可以有效的减少大量计算,并能提高预测准确率。4.在研究了多源数据特点与数据预测模型的基础上,提出了一种针对多源数据采集分析框架,该框架有效的结合了Nagios网络监控工具以及多源数据趋势预测模型,使用“主动+被动”多层分布式模型采集、存储、分析多种来源的数据。该系统最基本的目的是用于网络监控,通过大量的测试表明该系统增加了对数据的分析之后,不仅能够完成大量的采集监控任务,还可以更好的维护网络安全。