近年来,云计算的相关概念得到广泛普及,基于云平台的应用技术也成为研究热点,云数据中心在信息和互联网技术中扮演着不可或缺的重要角色。但与此同时,其快速发展的同时,面临的潜在安全威胁也逐渐凸显。云数据中心网络监控的性能开销大以及云端恶意软件更新频繁的问题日益突出。如何有效地提高我们对云端恶意软件的主动检测能力对于如今云平台安全防护起着至关重要的作用。本文对基于强化学习的云端未知威胁检测技术进行了研究,从而实现对云平台下Windows恶意软件的主动防御,本文主要做了以下三个方面的工作:1)设计一个基于云平台下Windows恶意软件静态特征提取的对抗样本生成模型:Gym-plus。此模型针对云端大量复杂Windows应用,使用python中的LIEF库对其进行静态特征的提取。使用现有的高检测模型对提取的静态特征进行检测,判断其是否恶意。通过强化学习的方法不断学习训练,使其产生新的可以绕过检测的对抗样本,大大提高恶意样本绕过检测模型检测的能力。2)提出一个基于云平台下Windows恶意软件动态特征提取的对抗样本生成模型:Mal-RL。此模型主要针对云端Windows恶意软件动态API调用特征进行提取检测。通过虚拟机将Windows恶意软件动态API调用特征提取出来,建立高效的检测模型,使用强化学习方法对所提取的API调用特征集合进行修改,引入了最小修改成本、虚拟善意样本、最佳对抗样本等概念,提高修改效率,加速对抗样本的生成。实验结果表明,Mal-RL所产生的对抗样本攻击成功率比传统的随机方式更高。3)设计一个基于二级训练的云端未知威胁主动防御系统。将两模型串行起来进行强化学习训练,弥补了 Gym-plus精准性与Mal-RL处理样本速度上存在的不足,高效地将两模型融入到一起,处理样本速度快,精准性高。同时系统分析现有检测模型的优缺点,并针对现有检测模型无法有效甄别“伪装善意软件”（即对抗样本）的问题,提出一种两级训练方法。方法包含基于大规模数据的预训练和基于对抗样本的重训练两部分。实验证明,通过两级训练方法,得到的检测模型的检测准确率从15.75%增加到93.5%,效果显著,大大提高模型的主动防御能力。