爆炸性的恶意软件变体对网络安全构成了重大威胁,研究人员必须探索更高效的方法来识别大量恶意软件的恶意意图和攻击模式。恶意软件家族中很多变体都是基于代码重用技术和混淆技术生成的,新生成的变体仍具有与原始恶意软件相同的功能和特征。因此恶意软件家族分类有助于高效分析海量变体。基于传统机器学习的恶意软件分类方法要求分析人员具备领域知识,还会带来手工构建高阶特征的高代价以及主观因素对特征选择的影响等问题,具有一定的局限性。目前几乎所有的基于可视化的静态分析方法均使用了恶意软件灰度图像。单一的低阶特征表示在某种程度上限制了模型能够提取到的高阶特征,可能不利于发现恶意软件家族中潜藏的公共模式。鉴于这些问题,本文围绕基于可视化和深度学习的恶意软件分类展开研究,主要研究成果如下:（1）针对恶意软件家族分类问题,本文提出了一个基于结构熵和卷积神经网络的恶意软件分类框架。该框架包括三个组件:熵图生成器、特征提取器和分类器。首先熵图生成器基于结构熵将恶意代码转化为熵图,然后一个基于深度卷积神经网络的特征提取器会自动从熵图中学习恶意软件家族共享的模式,最后SVM基于家族公共模式来分类恶意软件。实验结果表明,所提恶意软件分类框架可以获得出色的分类性能,在Malimg数据集和Microsoft数据集上分别获得了 99.72%和100%的分类准确率。（2）针对样本分布不平衡可能会导致模型对小类泛化不足的问题,本文提出了两种用于数据增强的恶意软件图像生成模型。首先,考虑到所提特征提取器能够学习到有效的家族判别特征,本文基于该网络结构构造了一个降噪自动编码器来生成熵图。然后,考虑到变分自动编码器具有良好的健壮性和优秀的图像生成能力,本文提出了一个基于变分自动编码器的熵图合成模型。实验结果表明,使用这两种图像生成模型扩充小类样本能够减轻数据分布不均对模型性能造成的影响。