随着云计算的广泛应用,其面临的安全性也不容忽视。传统恶意行为检测系统运行权限与病毒相同,检测结果容易遭到篡改。虚拟机监视器作为云平台的核心组件,具备高特权、隔离性、透明性和不可旁路性等优点,可以为虚拟机用户提供多种安全服务。本文设计了一个基于KVM虚拟机的恶意行为检测系统,通过实时检测客户机内部进程、驱动、内核Rookit、文件系统等核心对象,为虚拟机用户提供第二道安全防线。本文的主要工作量及创新点如下。1、搭建了Ovirt云平台开发环境,研究了虚拟化技术原理,分析了KVM虚拟化源码和安全机制,分析了Libvmi内省库实现机制。2、研究了Windows内核运行原理,分析了以内核Rootkit病毒为主的恶意行为,总结了传统方法和虚拟机检测法的优缺点,提出了改进思路。3、提高了Libvmi内存透视能力,填补了磁盘透视空白。通过逆向缺页中断,实现了页交换文件解析技术。通过逆向客户机内核同步机制,实现了访问临界资源同步技术。通过分析NTFS和FAT32文件系统格式与RAW虚拟镜像格式,实现了虚拟磁盘透视技术。4、借助于改进的内省库对内存和磁盘数据进行透视,并根据Windows内核知识库重构高层语义,实现了恶意行为检测系统。提出了基于多视图模型的隐藏进程检测算法,提出了基于内存和文件样本匹配的隐藏驱动检测模型,提出了基于内核标准库匹配的Rootkit检测模型。利用KVM内存虚拟化原理构建了进程行为与状态检测模型,设计了自适应模型动态调节检测策略,降低了负载。并增强了数字签名验证算法,能有效地评估虚拟机危险程度。本文通过改进内存与磁盘透视组件,提高了内存访问准确性,扩大了监控系统扫描范围。通过内存和文件语义重构,能有效地检恶意行为。实验证明,检测准确率优于同类算法,性能损失在5%以内。