信息化的快速发展极大推动了社会的进步,信息网络成为现代社会的主要基础设施之一,网络的安全和高效运行直接关系到社会活动的正常运行。伴随着网络的发展,网络入侵、服务攻击、信息窃取、病毒传播等恶意行为在各种利益的驱动下变得越来越普遍,数量、种类和破坏程度不断增加,其中以DDoS为代表的资源消耗型攻击由于实现简单和难以防御而成为互联网安全的主要威胁,传统的入侵检测主要部署在用户端,保护用户不受攻击,并不能消除网络骨干节点中的恶意流量,现有核心节点一般不具备恶意流量的识别和控制能力,只能任由其传播,DDoS加上蠕虫传播和P2P流量消耗了核心节点的大部分资源,网络资源更新发展的速度跟不上资源的滥用和消耗,所以在核心节点上部署流量检测和控制机制对于保障网络性能有重要的意义,并且进一步可以作为攻击源定位的信息平台。核心节点主要实现数据的路由和交换,增加新的流量检测和控制功能不能影响其基本工作,可以利用的计算资源和空间有限,而核心节点上的数据量巨大,对处理时间也有很高的要求,加上攻击手段的多样性,如何快速处理数据流并保证有效性和准确性是本文的研究目标,本文重点对其中的关键技术进行深入的研究,主要包括以下几个方面:1.本文首先设计了一个应用于核心节点上针对异常流量检测和控制的系统框架,它由三个层次组成,底层考虑到数据的单次扫描和摘要储存使用了数据流模型,只负责检测数据流中的超大频度流,并不做深入的分析,可以实现在线的数据流处理;中间层使用模式识别中的聚类技术,解决检测技术对攻击先验知识的依赖,可以把恶意数据形成准确的聚集,这是一种准实时的处理,牺牲一定反应时间换取准确度;上层使用多层聚集控制策略,根据协议使用模式进行多层聚集,区分不同的聚集的恶意程度,从而决定资源的分配,并反馈控制效果。三个层次有机结合,可以及时发现并过滤恶意流量。2.本文提出了一种基于窗口偏倚度的突变检测算法,针对具体的海量数据流进行超大频度流的检测,利用基于hash函数的计数器矩阵,并结合指数直方图设计了一个复式的数据摘要结构,这是一种滑动窗口模型,窗口内的数据随着每个数据的到达而变化,直方图内的每个桶各自计算自己的偏倚度来表明其中出现大频度流的程度,指数直方图中大小不同的等级桶设计体现了数据的时间衰减性,指数直方图的偏倚度可以及时、准确地反应数据流数据分布的突变。3.在数据压缩存储上对传统的计数型Bloom Filters进行了两个方面的改进,使其更加适应针对大频度流量计数的场合,首先改进了计数型Bloom Filters的计数器,提出了逻辑计数器的概念,可以在计数器满溢时侵入其它的计数器增加对数值的存储上限,由于使用计数器最小值估计,带来的误判率增加很小。另外针对计数型Bloom Filters使用固定数目的hash函数,不能事先确定最佳函数数目的不足,提出根据空置的计数器来估计Bloom Filters的使用情况,确定最佳hash函数数目,从而减少计算量。4.针对资源消耗型攻击变异种类繁多,基于特征匹配难以实现的特点,提出一种两阶段聚类算法,在可视化分析恶意攻击的基础上,利用同一攻击样本点相似度高,分布相似的基本特性,在第一阶段基于样本距离实现密度微聚集,在第二阶段基于微聚类的分布相似度实现密度连接,能够识别不规则形状、区分不同密度,实现对不同攻击样本的准确聚类。5.在资源控制层面,提出了一种多层聚集的限速策略,首先按照不同的协议和各个协议的使用方式把数据流划分成不同层次的多个聚集,根据各个聚集的恶意程度决定其对资源的占用情况,对恶意聚集进行限速,具体实现上利用中间层两阶段聚类的结果来生成过滤规则,使其具有更好的准确度,协议的划分保证了不同协议之间的相互隔离,同时也考虑了限速控制的效果反馈。