近年来,全球互联网络频繁遭受攻击,导致网络大面积瘫痪。随着我国经济的发展和网络信息化水平的提高,大规模网络攻击、网络经济犯罪等安全事件也不可避免。因此,需要对大规模网络安全事件进行有效地监控。骨干网监控中,数据包级别监测面临着海量的数据处理,无论是系统的存储能力、处理能力还是传输能力都受到了极大地挑战。流(Flow)监测为骨干网监控开辟了新的途径,通过把数据包归并到流中极大地压缩了数据量,使得对网络数据的存储、处理和传输更为容易。本文主要研究了特定属性流的提取(大流识别、并行及分布式大流识别、高速流识别)和基于流的网络监测系统及端口扫描检测。论文的主要内容如下:(1)大流识别:本文使用相对流量大小定义大流,即对于一个给定的阈值?(0 < ? < 1),将所有与链路实际传输总流量的比值超过?的流定义为大流。在该定义下,大流的识别问题等价于带权值数据流中的频繁项挖掘问题。由于骨干网链路速度快,对单个数据包的处理必须在纳秒级完成,因此对算法的实时性要求更高。在带权值数据流的频繁项挖掘研究中,目前还没有单数据项最坏处理时间为O(1)的算法。本文提出一个新的带权值数据流频繁项挖掘算法WLC(Weighted Lossy Counting),通过设定合适的参数值能够提供单数据项最坏处理时间为O(1)的处理速度。WLC采用一个部分排序的数据结构POSS(Partially-Ordered-Stream-Summary),能够在保证处理速度的同时,尽量降低算法的存储开销。通过实际的互联网数据进行对比实验,结果表明:与现有的算法相比,WLC具有更快的处理速度,同时算法的实际存储开销远小于其理论上界。(2)并行及分布式大流识别:近年来多核处理器飞速发展,为充分挖掘多核带来的计算潜力,本文又研究了带权值数据流频繁项挖掘算法的并行化方法。首先设计了一个细粒度加锁法(Fine-grained Lock Method),通过实验发现存在很高的竞争开销。这是因为当共享的资源被一个线程占用时,其他所有需要使用该资源的线程都必须等待。为了尽量减少等待,又提出了一个精度合成法(Precision Integrated Method,PRIM),其中每个线程均有独占的数据结构,不需要共享任何数据或者信息。PRIM采用了数据分解(数据并行)的并行化方法,为得到正确的全局频繁项,需要对各线程中的数据项进行汇聚。PRIM对本地线程中的数据项进行预判,只有当它有可能为频繁项时才将其发送到汇聚线程进行汇聚,因此大大地降低了由汇聚带来的开销。通过实际的互联网数据进行对比实验,结果表明:PRIM能够提供较好的加速比。最后,又给出了PRIM在分布式大流监控中的应用。(3)高速流识别:当前的高速流识别算法无法根据用户的需求控制识别精度,并且需要存储抽样到的每一条流,导致存储开销较大。为此,本文提出了能够控制识别精度和降低存储开销的高速流识别算法TSPRT(Truncated SequentialProbability Ratio Test)。TSPRT不仅可以通过设定参数控制识别精度,而且可以通过序贯检验提前淘汰低速流和识别高速流,从而降低存储开销和减少识别时间。为方便用户设定参数,本文提出了两种参数选取方法:存储开销优化法(TSPRT-M)和识别时间优化法(TSPRT-T),同时又对TSPRT的高速流识别精度进行了理论分析。通过实际的互联网数据进行对比实验,结果表明:TSPRT能够有效地降低存储开销,减少所需的识别时间。(4)基于流的网络监测系统及端口扫描检测:当前已有许多基于流的网络监测系统,但是仅支持大规模存储,或者仅支持实时检测,本文设计并实现了一个基于流的网络监测原型系统,既能支持大规模存储又能支持实时检测。同时针对当前骨干网上端口扫描检测的漏报率和误报率较高的问题,本文又提出了一个基于流的端口扫描检测算法TFDS(Time Based Flow Size Distribution SequentialHypothesis Testing)。由于多数扫描主机的流为由1到2个数据包组成的小流,因此TFDS采用流大小分布(Flow Size Distribution,FSD)熵值作为检测指标,再结合序贯检验的基本思想检测扫描主机。通过实际的互联网数据进行对比实验,结果表明:TFDS能够有效地提高骨干网端口扫描检测的性能。