随着互联网的迅速发展,与日俱增的恶意软件威胁着网络的安全。恶意软件的家族分类是重要的安全防御技术,目前已有大量基于机器学习的家族分类研究。大多数现有的家族分类研究面向的是闭集场景,即每个待分类样本所属的家族都已包含在训练所用的家族集中。但是实际的恶意软件家族分类面对的是开放场景,即待分类样本可能属于在训练中从未见过的新家族。目前也有一些用于恶意软件开放集家族分类的技术,但这些技术的分类效果和模型训练稳定性都有待提升。针对开放环境下的恶意软件家族分类问题,本文首先基于DCGAN和ACGAN模型进行模型探索,指出上述方法的不足与改进之处。其次,提出一种基于对抗训练的恶意软件开放集家族分类方法:使用生成器、判别器与两个分类器一起组成联合训练网络,并训练其中一个分类器为开放集分类模型。此方法利用生成对抗网络生成旧家族低密度区域数据以模拟新家族样本,训练分类器为旧家族样本和模拟的新家族样本分别产生不同的概率得分。此方法的特点包括:通过使用两个分类器,可克服GAN模型训练不稳定对开放集分类模型的影响;通过设计多个损失函数以及新颖的网络训练方式,可促使分类器得到良好的分类效果。本文将详述此方法的对抗训练过程和分类模型。本文基于标准Big2015数据集和大型MAL-99数据集进行实验研究,验证了本文开放集分类方法的有效性。本文通过实验对比了本文模型与现有模型的开放集分类效果,实验结果表明,本文模型具有更高的分类AUROC值、准确率和召回率,以及更好的模型训练稳定性。本文还通过消融实验,表明了本文模型中各个主要组成部分的必要性。总之,本文基于对抗训练提出了一种有效的、训练稳定的恶意软件开放集分类方法。