云计算是通过网络提供方便、廉价的计算服务,但其安全问题一直是用户最关注的。虚拟化作为云计算的支撑性技术,其中的虚拟机本身存在风险,进而危害到整个云计算系统的安全性。本文研究利用虚拟机自省技术对虚拟化环境中虚拟机恶意软件进行检测和监控,改善虚拟机安全性能。主要工作包括:首先,提出了一种基于虚拟机自省的恶意软件分析原型方法。通过解析内核调试文件获取关键数据结构的相对虚拟地址,经过内存虚拟化计算出内核物理基地址,从而得到内核函数在内存中的分布情况。通过断点注入的方式监控每个内核模块和函数的调用情况。通过监控CR3寄存器,捕获进程发生上下文切换事件。遍历该进程所加载的模块和该模块内的函数,对需要监控的函数注入INT3断点,虚拟机继续执行对应的函数时,执行流程就会被劫持为自省机制的监控流程,从而提取系统调用序列等相关信息。使用n-gram的方法产生聚类特征,将序列数据转化为特征向量,基于这个特征向量可以计算出不同行为的分析报告之间的相似度,在此基础上采用聚类分类算法对系统调用序列进行分析。实验结果验证了其有效性。其次,提出了一种分离式虚拟机自省模型。该模型的基本思想是将原本运行在特权域的VMI模块迁移至用户域,由一个专门运行VMI工具的虚拟机执行对其他用户域虚拟机的监控工作。从而降低了特权域的可信计算基,降低了被攻击的可能性和遭受攻击后的损失。实验结果表明,该模型同样可以完成原来虚拟机自省任务,在功能性上没有减弱,但由于VMI运行的用户域虚拟机,相对于特权域的权限较低,所以在执行过程中性能有所降低,但还在可以接受的范围内。总之,为了提高云计算的安全性,本文提出并实现了利用虚拟机自省技术分析虚拟机内部运行的恶意软件,并在此基础上提出了分离式虚拟机自省模型提高了虚拟机自省技术本身的安全性,通过相关实验验证了方法的可行性和有效性,同时系统的性能也得到了保证。