随着计算机网络技术的飞速发展,电脑、手机等各类智能电子产品已经融入了人们生产生活的方方面。与此同时,在利益的驱使下恶意软件也逐渐衍生出一条巨额的黑色产业链,严重威胁到了计算机网络用户的隐私和安全。作为全球电脑和手机操作系统市场的龙头老大,Windows和Android首当其冲,其恶意软件在数量和种类上均出现了爆发式增长。这使得传统的检测方法已经难以适应爆发式增长的恶意软件及变种。然而,近年来深度学习技术在计算机视觉、语音识别、自然语言处理等领域取得的突破性进展,为恶意软件检测的研究提供了新的视角。因此在借鉴深度学习技术丰富研究成果的基础上,研究更高效的智能恶意软件检测方法,成为了网路空间安全领域中的一个重要课题。针对Windows恶意软件,已有研究提出了新颖的端到端恶意软件检测方法。该方法无需安全领域专家的参与,通过训练深度学习模型MalConv来对原始恶意软件进行直接检测,检测正确率高达94%。然而已有研究表明,基于深度学习的模型容易受到对抗样本攻击,即攻击者可以通过对恶意软件的细微改动来躲避模型的检测。针对MalConv模型,本论文首先深入挖掘模型的安全漏洞,提出了两种新颖的白盒攻击方法和一种新颖的黑盒攻击方法。运用其中一种白盒攻击方法对训练好的模型进行攻击,成功率达到99%;即使在模型结构和内部参数完全未知的情况下,黑盒攻击方法也可使攻击成功率达到73%。其次,本文研究了对抗性训练的防御方法以抵御上述攻击,实验表明该防御方法虽然有一定效果,但存在训练数据集被污染的安全风险。最后,本文提出了一种拒绝对抗样本的防御方法,并通过实验证明该方法可以有效提高恶意软件检测的安全性和效率。针对Android恶意软件,虽然基于深度学习的检测方法不断涌现,但这些方法大多都需要恶意软件分析专家花费大量的时间和精力来完成前期的特征工程,因此难以适用于海量的Android恶意软件检测。与现有方法相比,本文提出的两种基于深度学习的检测方法的优势在于其端到端的学习过程而无需人工特征工程。本文首先将Android软件包中的DEX文件统一预处理为固定长度的序列。其次本文提出了两种深度学习模型对预处理后的序列进行检测。最后,本文在包含8000良性样本和8000恶意样本的数据集上对所提出的模型进行训练和评估。实验结果表明,本文提出的两种检测方法的正确率可以分别达到93.4%和95.8%。与近年来其他优秀的检测方法相比,本文提出的方法不受文件大小限制、无需人工特征工程、结构简单,更适用于在轻量级设备上部署使用。