Windows系统作为目前互联网上使用量最大的操作系统,提供和承载了海量的信息与服务,但是该系统下大量的恶意软件攻击给人们的信息化生活带来了严重的影响。传统恶意软件检测方法基于大量的规则和模式匹配,需要大量的人力进行恶意软件分析和标注,并且难以检测由于代码混淆而快速变种的恶意软件。为解决这个问题,近年来许多学者将人工智能技术引入恶意软件检测研究,节省大量软件分析人力的同时让这些方法具有更好的泛化能力,为检测日渐复杂的恶意软件提供了新思路。此外,在人工智能技术被应用到恶意软件检测工作的同时,一些研究者发现向待检测的恶意软件样本上添加特定的对抗扰动可以使人工智能检测模型的判断结果出错,因此恶意软件检测模型的鲁棒性也给研究者带来了新挑战。本文的主要工作包括:（1）为了减轻训练恶意软件检测模型过程中对带标签样本的需求量,本文提出一种基于预训练深度学习进行恶意软件检测的模型,Malbert。该模型先使用自监督学习的方法,在大量无标签的软件API调用序列样本上进行预训练,再用相对少量带有恶意软件和良性软件标签的API调用序列样本进行有监督微调训练后即可进行恶意软件检测。实验结果表明,基于预训练深度学习的Malbert模型在两个不同类型的数据集上均表现出较好的检测效果。（2）恶意软件检测模型的任何误判带来的恶意软件攻击都是严重和不可逆的,因此检测结果的鲁棒性是非常重要的。为了比较不同恶意软件检测模型之间检测结果的鲁棒性,本文提出了一种测试恶意软件检测模型鲁棒性的算法,在多个数据集和多种评估指标之间开展实验。最终实验结果表明,本文提出的Malbert模型在鲁棒性测试上表现较好,因此Malbert模型在实际部署后拥有更好的抗干扰能力和鲁棒性。