近年来,随着计算机网络和信息技术的快速发展,网络安全也越来越成为人们关注的焦点。每年木马的数量都在迅速的增加,在各类非法程序中占据着最大的比重,而由木马程序所造成的破坏和损失也越来越严重,因此,对木马行为的分析与检测已经成为网络安全研究领域的重点之一。目前,行为分析技术能通过分析未知程序运行时表现出来的动态行为特征,来判别其是否为合法程序,因此能够检测特征码未知的木马程序,成为反木马研究领域的一个热点。　　 针对木马软件行为分析与检测这一问题,本文设计并实现了基于系统调用的木马行为分析与检测系统(APIAnalyzer),该系统能够实时采集未知程序在系统中运行时的系统调用信息,并根据基于着色Petri网的木马行为分析模型对未知程序的行为进行分析和检测。本论文的主要工作如下:　　 1.分析了木马的典型行为特征。收集了500多个木马软件样本,查阅了卡巴斯基、赛门铁克等权威的安全厂商和国内外安全研究机构关于木马实现细节的技术报告,使用API Monitor、SysAnalyzer等工具来监测木马的行为特征,分析了木马在植入、安装、运行和通信四个阶段的行为特征,最终给出木马在文件操作、修改注册表操作、网络服务操作、获取系统信息操作和其他行为操作这五个方面的典型的行为特征的形式化定义。　　 2.基于EasyHook技术的木马系统调用的获取。深入研究了使用EasyHook技术实时采集未知程序在系统中的系统调用序列的方法,获取了Ntdll.dll,Kernel32.dll和Ws2_32.dll下的某些系统调用以及相关的参数。　　 3.构建了基于着色Petri网的木马行为分析模型。针对木马的五个方面的典型行为特征,分别构建了基于着色Petri网的文件操作、修改注册表操作、网络服务操作和获取系统信息操作的木马行为分析模型,并分析了各个模块之间的关联关系。　　 4.基于系统调用的木马行为分析与检测系统的设计与实现。在理论分析及技术探讨的基础上,设计并实现了基于系统调用的木马行为分析与检测的原型系统(APIAnalyzer)。　　 5.典型木马的行为分析与检测。首先使用APIAnalyzer分析灰鸽子木马的运行过程。然后实验分析与检测131个木马软件和95个合法软件,得到系统的漏报率为11.45%和误报率为4.21%。最后与其他反木马软件做了对比分析。