论文部分内容阅读
随着Internet的发展,网络流量飞速增长,互联网已成为不可或缺的信息载体。与此同时,网络流量也经常会出现偏离正常范围的异常流量,主要是由蠕虫传播、DOS攻击、DDOS攻击、僵尸网络等恶意网络攻击行为以及网络配置失误、偶发性线路中断等引起。这些异常流量往往会导致整个网络服务质量急剧下降,使受害端主机、网络直接瘫痪。因此,如何在大规模网络环境下进行网络异常检测,对保障网络正常运行具有重要意义。本文结合国家863计划重大专项研究,以高速网络异常流量实时检测为目标。针对高速网络流量抽样测量时小流估计误差较大和新型攻击类型层出不穷两个问题,重点对高速网络流量的抽样测量、特征提取和主成分分析组成的混合检测技术及其硬件实现进行了研究。 本研究主要内容包括:⑴针对现有大多数方法在估计小规模流量时会产生较大误差的问题,提出了一种基于FPGA实现的自适应非线性数据包抽样方法。该方法对每个流均按一个相应的计数器的值动态地调整采样速率,而不是静态地预先配置采样率。计数器的值大时,所采用的采样速率就较小,而较大的采样率则被用于更小的计数器值。理论分析和实验结果表明,此方法可以显著地提高估计精度(尤其是对小规模流),并节省内存消耗,同时维持比现有方法更少的处理开销。此外,通过基于FPGA的原型实现,我们验证了该方法设计的合理性,同时它还能够测量吞吐量高达26.5Gbps的网络流量。⑵针对当前许多软件检测方法无法跟上高速链路速度的问题,设计了一种基于FPGA的网络传输异常检测的架构。首先开发了一个特征提取模块,用于提取在下一阶段用到的网络信息。在FPGA上的实现表明,相比于现有的软件和特定应用程序集成电路的实现方法,性能改进显著。然后,进一步演示并使用主成分分析作为异常检测系统的一种检测方法。实验结果表明,我们的架构能够准确地对攻击行为进行分类,其检测率超过99%,误报率低至1.95%。此外,通过使用大量的流水线和硬件并行性,在现实的工作负载下,该架构中FEM和异常分析模块可以分别达到每核21.25Gb/s和23.76Gb/s的吞吐量。