Internet的迅速发展提高了人们的工作效率、丰富了人们的生活,随之而来,也使得人们对于网络的依赖程度越来越大;越来越丰富的系统软件、应用软件以及网络服务,使人们工作更为便利,但同时也必须面对更多的网络威胁。目前,网络安全问题已经成为人们关注的焦点问题,所造成的危害也越来也大。计算机蠕虫由于传播速度快、变种多、危害程度大而成为当今最严重的网络安全威胁之一。基于网络行为的蠕虫检测技术是目前比较有效的蠕虫检测技术,它可以应对变形蠕虫、快速蠕虫等所带来的威胁,但它也存在如下不足:1)检测粒度较粗,耗费大而且也影响检测效果;2)P2P中的类蠕虫流量容易引起误报; 3)对于慢速蠕虫、变速蠕虫检测效果不佳;4)对蠕虫行为发掘不够;5)不能准确定位蠕虫进程。为了解决基于行为的蠕虫检测技术中存在的不足,实现对蠕虫快速、细粒度以及有效地检测,本文围绕基于网络行为的蠕虫检测技术开展研究,主要贡献和创新点有以下五个方面:(1)提出了一种P2P类蠕虫流量特征自动生成算法(AWTSG-Automated Worm-like Traffic Signature Generation),并设计与实现了一原型系统。P2P流量是目前互联网上主要的流量,但是它存在和蠕虫类似的流量行为。为有效地去除这些流量,本文比较了蠕虫流量和P2P流量的相似之处,定义了类蠕虫流量,提出了一种简单的P2P类蠕虫流量特征格式,在此基础上,提出了一种特征自动生成算法,并进行了原型系统的设计与实现。通过对流行的P2P软件进行测试,成功地获取了其类蠕虫流量特征,并验证了该算法的有效性,即可以有效地降低基于行为的蠕虫检测算法的误报率;(2)提出了一种层次式的用户网络访问习惯行为模型。鉴于传统工作对用户网络访问习惯行为建模的不完整性,本文从用户表现层、使用表现层和网络表现层三个层次建立了一个新的用户网络访问习惯行为模型,并提出了可用于蠕虫检测的用户网络访问习惯行为的表示方式和获取方法;(3)提出了一种基于主机数据报文评级的蠕虫检测算法(HPBR-Host Packet Behavior Ranking)。为加速蠕虫的检测、提高对慢速蠕虫的检测能力,本文基于用户网络访问习惯行为,在对主机数据报文进行评级的基础上,提出一种可对快、慢速蠕虫进行检测的算法-HPBR。实验表明,该算法可以对快速蠕虫、变速蠕虫以及慢速蠕虫进行有效检测,同时具有较小的误报率和漏报率;(4)提出了一种基于进程流量行为的蠕虫检测算法(PTBBWD-Process TrafficBehavior Based Worm Detection)。在描述全新源端口变化过快、全新源端口过多、以及类蠕虫流量比重过大等三种新的蠕虫异常行为的基础上,提出了一种基于进程流量行为的蠕虫检测算法(PTBBWD),并设计与实现了基于PTBBWD检测框架的原型系统。使用真实的蠕虫程序和常见的网络程序进行实验,实验结果表明:PTBBWD可以很快地检测快速蠕虫,并且算法的漏报率和误报率较低;(5)提出了一种基于进程流量简单性和时间一致性的蠕虫检测算法(PTSTCBWD-Process Traffic simplify and Temporal Consistency Based Worm Detection)。鉴于PTBBWD对初始检测时刻敏感的特性,在描述了进程流量的简单性和时间一致性的定义和判断方法的基础上,提出了一种基于进程流量简单性和时间一致性的蠕虫检测算法(PTSTCBWD)。实验结果表明:PTSTCBWD可以很快地检测蠕虫,对初始检测时刻不敏感,并具有较小的误报率和漏报率。本文的研究成果对于基于网络行为的蠕虫检测技术研究具有重要的理论和实践意义,对有效防范蠕虫攻击有重要的参考价值。