僵尸是被恶意软件感染并被僵尸控制者通过命令与控制信道(如IRC, HTTP, P2P等)控制的主机，当僵尸大规模协同运行时便形成一个僵尸网络。僵尸控制者可以利用僵尸网络进行各种网络犯罪，如传播恶意软件、发动DDoS攻击、发送垃圾邮件、进行网络钓鱼等。僵尸网络已经成为大多数网络犯罪行为的主要平台。本文第二章提出一种关联签名和行为检测僵尸的多反馈方法——BotCatch。BotCatch包括五个模块：分析引擎、签名分析模块、行为分析模块、关联引擎和多反馈模块。分析引擎负责将可疑文件分配给签名或行为分析模块，它们分析该文件并生成各自检测结果，关联引擎关联签名和行为检测生成最终检测结果。多反馈模块使用签名、行为和关联结果动态调整BotCatch，通过维护签名数据库优化签名分析模块，通过维护样本库并指导该模块的学习优化行为分析模块，通过修改参数优化关联引擎。实验结果表明：(1)BotCatch的关联算法能够有效的关联签名和行为检测结果；(2)多反馈机制使得BotCatch能够自适应于样本并逐渐变得稳定和准确；(3)虽然其它关联算法，如支持向量机也能够关联多种结果，然而拥有多反馈机制的BotCatch有更好的检测结果。本文第三章发现多进程僵尸的两个特点：将恶意行为与C&C连接分离、将恶意行为分配给多个进程。从理论上分析现有基于行为的僵尸检测方法不能有效的检测多进程僵尸的原因。提出实现多进程僵尸的两个关键挑战，并实现单进程和多进程Zeus僵尸的简化版本。使用基于签名和行为的检测方法进行实验，结果表明，多进程僵尸可以有效地降低检测率。最后提出多进程僵尸的其它可能结构和扩展规则，以期覆盖多数情况。本文第四章计划通过深入分析当前不断演变的社交僵尸采用的躲避机制，设计出更鲁棒的特征和关联机制。为实现该目标，我们收集现有社交僵尸样本和它们的运行记录，然后分析其躲避机制，包括四种基本躲避机制和四种高级躲避机制，使用三种现有检测方法检测收集的运行记录，验证躲避机制的有效性。通过对躲避机制的深入分析，我们设计分为基于生命周期和失败信息九个新型特征，设计两种新型关联机制——时间关联和空间关联机制，时间关联通过累积历史信息应对延迟响应，空间关联结合不同进程之间的关系应对多进程僵尸。实验结果表明，我们设计的新型特征和关联机制能够有效的应对社交僵尸，使用随机森林分类器得到检测结果：0.3%误报率、4.7%漏报率、0.963F-measure值和99.2%检测率。