随着计算机网络的发展,网络的应用范围越来越广,随之而来的是网络中各种病毒、木马等爆发频率的加快,更加不幸的是各种网络攻击机制和网络攻击工具操作使用时越来越趋向于傻瓜化,这都使计算机网络在安全性上面临严重的威胁。同时网络带宽和网络中流量迅猛增加,网络用户增长速度加快,因此如何在网络用户不断增加的情况下实现网络中海量数据的有效存储和处理以及发现网络数据中存在的网络攻击并做出有效的判断和处理成为网络安全研究的重点。传统的入侵检测系统采用被动防御技术,对网络中的异常数据以及入侵检测进行检测。但随着网络带宽的增加,网络中单位时间内通过的数据包数越来越多,这使得入侵检测系统在进行数据采集和分析时存在检测速度不高、误报率和漏报率高等问题。针对当前入侵检测技术存在的缺陷和不足,本文分析了大流量数据捕获、聚类以及异常检测的原理,在此基础上进行了深入的研究。本文所作的主要工作有:①在进行数据采集时,搭建高速流量采集环境,使用freebsd和tcpdump相结合,并对freebsd系统进行网卡模式修改。经过测试发现,搭建的环境在对重庆大学网络出口流量进行数据捕获时,数据丢包率在可以接受的范围内。搭建的数据捕获系统同时还具有数据分析功能,对于捕获的数据包能够进行实时的解析。②在分析研究现有的入侵检测系统和数据挖掘技术的基础上,本文提出了基于IP流量聚类的数据捕获与入侵检测系统Cluster Package CAP(CPCAP)。③针对入侵检测系统进行异常捕获时误报率、漏报率高以及CP算法不能对大量数据进行处理的问题,本文在CPCAP系统中采用基于IP流量聚类k均值CP算法(KCP)对网络异常数据进行检测,改进后的算法在时间复杂度以及在对入侵检测数据分析的正确性上优于CP算法。同时在发现异常数据后,能够根据改进的KCP算法确定攻击源和目的主机。④实现CPCAP系统在重庆大学校园网的部署,部署后的系统能够实现对异常数据和网络攻击进行有效检测。最后,对本文的所作的研究工作进行了总结和展望。本文设计的系统和改进的算法在对网络异常检测上虽具有一定的优势,但是仍存在一些尚未解决的问题,如如何实现主动的网络故障和性能测量等,因此进一步的工作是继续进行相关的研究和分析。