近年来，Windows Rootkit技术越发复杂、隐藏能力大大提高，多数恶意代码都采用Rootkit来隐藏自身，使其具有更大的危害性。随着Windows Rootkit反检测、反分析技术的快速发展，对Rootkit检测系统的设计与实现提出了更高的要求。很多Rootkit检测技术及工具已不能满足检测出当前多种复杂的内核级Rootkit的要求。自Xen系统支持硬件辅助虚拟化技术以来，其具有的高特权性以及对客户机操作系统的高透明性，为检测Rootkit的实现提供了保证。因此，在理论上基于Xen的Rootkit检测技术可有效地检测出Rootkit的存在，同时能够获取更为底层、更加真实的Rootkit行为信息，本文也给出了相应的测试结果。为研究基于Xen的Rootkit检测技术以及设计和实现检测方案，本文的主要工作有：(5)研究了Windows Rootkit的主要原理与相关技术，以及Windows操作系统下遍历进程链表信息的基本原理。(6)研究了虚拟机Xen的工作机制，着重分析了Xen4.0.1源码中与硬件虚拟化技术相关的部分代码，利用Xen API编写可获取客户机操作系统内存信息的程序。(7)研究了x86系统下内存保护与访问控制方法，通过为关键函数所在内存页面设置写保护，可在Xen层拦截内核数据访问行为。(8)基于以上工作，设计并实现了基于Xen的Rootkit检测系统。最后利用Windows系统下著名的Rootkit—Hacker defender对检测系统进行了测试，并给出检测与验证结果。实验证明，本文提出的基于Xen的Rootkit检测方案在Rootkit检测技术中具有可行性。