随着移动市场的快速发展,Android系统逐渐成为使用最广泛的移动端操作系统,同时也成为恶意攻击者攻击的主要目标。据统计,90%的Android恶意软件是由同一恶意软件变形而来,因此,将不断新增的恶意软件变体分类至家族不仅能够根据应用程序之间表现出的行为相似性将样本归因,缩短恶意软件检测的时间;同时,通过探索同一家族及家族之间的衍变规律,有助于对恶意软件的新变体进行有效检测并防御。现有的Android恶意软件家族检测及分类方法主要基于权限、API、字节码等单一特征,本文为了更深层次地提取Android恶意软件的代表性特征,提高模型的泛化能力,具体工作如下:(1)提出一种基于随机森林的Android恶意软件家族分类方法。通过提取权限和API特征,利用权值计算筛选出关键权限,将其定义为敏感权限,同时将计算筛选出的关键API、Android5.1.1版本中危险权限所对应的API以及官方声明的高度敏感的API三部分定义为敏感API,将两种特征结合后运用随机森林算法进行家族分类实验。与目前的已有的研究工作相比,本文能够使用敏感权限与API进行分析,在减少分析时间的同时达到较好的分类效果,实验结果F值达到98.1%。(2)提出一种基于CNN和多头注意力机制结合的Android恶意软件家族分类方法。为了提高模型的泛化能力,在提取敏感权限和敏感API的基础上,增加反映恶意软件行为的Intent和Activity特征。由于特征种类的增多,浅层机器学习算法难以从特征空间中挖掘特征之间的隐含关系,因此采用一种卷积神经网络和多头注意力机制结合的算法进行家族分类实验,多头注意力机制与普通的注意力机制的区别在于前者能够复制多个多头,并且赋予不同的权重,将多头注意力机制与能够提取局部特征并有效降维的卷积神经网络结合后进行分类实验。实验结果表明,该方法F值达到99.25%,明显优于其他的深度学习算法。(3)家族的同源性分析。本文在恶意软件家族分类的基础上,对各个家族的权限、API、Intent和Activity特征进行深入分析,追溯家族的同源性。通过对代表性特征进行同源性分析实验,结果F值达到86.9%,说明这些特征能够很好的区分不同家族。此外采用层次聚类法对二十个家族进行聚类实验,进一步验证了家族之间的相似性,能够为追溯家族的衍变过程提供一定依据。