随着互联网的快速发展,企业组织、银行、大学和政府等机构已经将其作为重要的基础设施。人们在享受互联网带来便捷的同时,也受到了恶意软件的攻击。因此,如何准确高效地检测恶意软件有重要意义与价值。目前,恶意软件检测模型大都需要大量有标签的样本去训练,而对于新出现的恶意软件,获得大量标签所需成本高昂而且新出现的恶意软件分布与源训练样本分布的不同导致检测难度增加。鉴于此,本文的研究内容主要包括以下方面:（1）针对新出现的恶意软件需要收集足够多的样本重新训练模型的问题,提出了基于注意力和元学习的小样本恶意软件分类模型。首先,结合混合注意力机制,利用卷积神经网络对恶意软件灰度图进行特征提取,从空间和通道两个维度对特征进行细化,关注重要特征并抑制不必要的特征;其次,使用基于参数优化的元学习（Meta Learning）方法,在大量相似的元任务上训练模型学习模型初始化参数,并在此参数的基础上,通过少量任务的迭代快速适应新任务;同时,结合困难样本挖掘（Hard Example Mining）的方法,有目的性地组织样本训练模型,以提高模型的收敛速度及分类性能;最后,在两个Windows恶意软件数据集Malimg和BIG-2015上进行实验,并且与其它深度学习方法进行对比,实验结果表明本论文提出的方法优于已有方法。（2）针对新出现的恶意软件样本获得标签困难以及新出现的恶意软件分布与原始训练样本分布不同,造成模型检测性能降低的问题,提出了基于无监督域适应（Domain Adaptation）深度模型来检测目标域的未知恶意软件。首先,通过对抗学习最小化源域和目标域之间的特征分布,学习共享特征表示;同时,通过对齐有标签的源域样本的类中心和获得伪标签的目标域样本的类中心来减小类级别分布差异。（3）为提高未知恶意软件的检测性能,借鉴对比学习（Contrastive Learning）思想进一步改进语义对齐损失函数减小类级别的分布差异;为提高模型提取特征信息的能力,使用带有自注意力机制的残差网络作为目标模型。在Malimg和BIG-2015恶意软件数据集上进行实验,结果表明,本文提出的方法优于已有检测方法。