论文部分内容阅读
入侵检测系统和防火墙技术是通用网络安全技术,国家主干网络的网络安全应用需要在高速环境下进行网络数据的深度检测,需要高性能的海量网络流实时处理技术作为支撑。随着宽带技术的发展与应用,网络带宽的增长速度已经超越了计算能力的增长速度,成为骨干网入侵检测系统(B-NIDS,Backbone Network Intrusion Detection System)面临的巨大挑战。本文以高速广域网环境下安全检测系统应用为背景,研究计算机体系结构相关的优化技术,包括,如何通过智能网卡提高收包能力,在多核平台下系统软件结构如何设计,怎样保证应用的服务质量等。本文的研究思路是借助计算机体系结构的新技术,解决骨干网入侵检测系统实际运行中的难题,从收包速率,吞吐率,响应时间和服务质量几个指标提高B-NIDS的性能。为了提高网卡的处理能力,缓解主机的性能瓶颈,本文设计实现了一个基于自主开发的智能网卡的TOE系统,实现了高速网络报文接收。在性能分析中,本文根据B-NIDS的特点测试了网络缓冲区不同分配方式下的接收性能和智能网卡的最大处理能力。实验结果表明,智能网卡提高了网络收包速率,在一些情况下甚至可以达到线速。本文从B-NIDS特征分析入手,重点研究与高效的资源管理和快速报文响应密切相关的负载和系统特征,以及相应的优化方法。针对大规模高速骨干网络流量特点,本文设计了一种负载特征分析方法,并基于分析结果给出了优化措施。本文还从节省CPU和内存资源的角度提出了系统优化方法。为了深入地研究单个连接和处理时间的关系,本文从大量流量记录文件中提取了流样本,建立了基准测试集。本文针对多核多线程平台研究了B-NIDS的优化技术。线程级并行体系结构是目前处理器体系结构发展的主要趋势,如何挖掘应用的并行性是面临的重要问题。在高度并行的平台上,优化研究内容包括工作流的深入分析,并发子任务划分,并行任务的负载平衡,并发任务的通信等。本文通过测试现有B-NIDS的性能瓶颈和分析数据流特点,提出了一种无锁队列的同步机制和适合多核平台的三级流水多线程软件模型。采用Sun SPARC T1架构8核32线程服务器从资源占用、吞吐率和响应时间三个方面进行了性能测试,并在曙光x86架构8处理器16核服务器上测试了系统的可扩展性。实验结果表明,系统各性能指标的优化效果明显,在不同多核平台上表现了良好的可扩展性。本文还研究了质量制导优化技术及其性能评价。现存的应用系统在骨干网大规模的流量下,很难保证海量TCP流处理的服务质量,一般采用尽力而为的服务策略。本文通过多队列调度策略可以优先处理用户预定义的TCP流,提高一些特征流的服务时间,从而提高服务质量。本文还提出了基于流速预测和一种过载时的QoS技术。针对应用系统连接数大,负载重和处理多样性的特点,性能评价采用了基于探针流的采样方法,准确测试了优先处理特定IP网段策略下服务质量的提高。