智能手机早已风靡全球,在智能手机中安卓手机占据了四分之三的份额。随着时间的发展,各种安卓恶意软件大量出现。现有的恶意软件识别方案大都是使用的监督学习方法进行分类,这种分类方法精确率高速度快,但面对新出现的样本时分类效果差,使用无监督学习的聚类算法在处理未知样本时效果要更加优秀。本论文针对分类算法处理未知样本效果差的问题,参考最大最小蚁群算法和蚂蚁排序算法以及层次凝聚聚类算法,提出了一种基于改进蚁群算法的层次凝聚聚类算法,实验结果表明,在处理恶意软件数据集时,聚类效果比使用原始蚁群算法进行优化的层次凝聚聚类算法精确率更高,算法收敛速度更快,在生成优质簇的同时能生成聚类过程树状图。本文主要工作如下:（1）同时从静态和动态两个方向提取安卓恶意软件特征,针对提取的数据特征维度过高无法用于聚类的问题,使用模糊哈希算法对数据进行处理后再用于聚类。（2）以层次聚类算法为基础对恶意软件数据集聚类分析,针对层次聚类算法无法将局部最优解进化为全局最优解从而陷入局部最优解的问题,参考蚁群算法设计了改进算法。在多种数据集上的实验证明改进算法聚类精确率与原始层次聚类相比至少提高了18.2%。（3）针对改进聚类算法收敛速度慢,面对复杂数据集时仍会陷入局部最优解的问题,利用最大最小蚁群算法和蚂蚁排序算法提出了再改进算法。实验表明与改进算法相比,再改进算法的收敛速度至少提高了19.4%,在面对复杂数据集时聚类精确率与原始层次聚类相比至少提高了21.3%。