随着Internet的不断发展,网络入侵也日趋复杂和频繁,传统的安全防护手段已经不能满足用户对网络安全的要求。并且,被普遍认为能有效防御的防火墙,也存在着很多缺点,不足以应对日益严重的网络危机。因此,实时的入侵检测系统被提出,成为了防火墙的有效补充。只有将各种不同的网络基础设备与先进的网络安全防御技术有效的结合,才能成功的应对复杂的混合型威胁。针对网络中不断出现的新的入侵,本文提出了误用检测和异常检测相结合的检测准确率高的入侵检测系统。异常检测采用神经网络模块,其本身高度的自学习和自适应能力能够根据训练样本中已有的入侵检测实例准确的识别出入侵行为,并且能够对入侵行为的新特征进行识别和总结。对于BP神经网路的收敛速度慢和易陷入局部最小点的问题,采用了改进的蚁群算法进行有效的改进。通过蚁群算法的全局搜索能力,可以对BP神经网络的权值和阈值进行一定程度上的压缩。神经网络模块采用了对不同协议数据包分别处理的机制。本文主要针对于传输层的主要协议TCP和UDP协议进行了模型设计,根据这两种协议的不同网络入侵特征信息设计出TCP神经网络和UDP神经网络,更有针对性的提高检测效率。本文从当前用户对网络安全的要求和入侵检测的发展方向入手,确定了课题的研究方向和论文组织结构。对于本文提出的新的系统模型进行了简单介绍；详细分析了数据包捕获模块、协议解析模块、预处理模块、规则匹配模块、改进BP神经网络模块和响应模块六大模块的功能；详细分析了异常检测模块中BP神经网络的结构和不足。针对于BP神经网路收敛速度慢,易陷入局部最小点等缺陷,提出了用全局搜索能力好的蚁群算法。本文在基于改进方案中的全局和局部更新信息素相结合的策略中对于全局更新公式进行了进一步优化,并且把这种全局和局部更新信息素方案应用到BP神经网络中,仿真实验表明这种方案检测效率得到提高。有针对性的对TCP和UDP神经网络进行了测试,结果显示这种有针对性的网络检测有较高的正确率。