随着信息化时代的推进,各类手机应用被大量开发出来,软件的安全性更加备受关注。尽管针对恶意软件检测技术的研究不断深入,但是近年来新的恶意软件数目仍然快速增长。同时,为了躲避检测和非法获利,恶意软件也不断发展变化,其破坏性和传染性不断增强。因此,手机应用安全仍然是一个值得重视的问题。目前,针对手机恶意软件检测的研究大多是恶意与非恶意二分类问题、恶意软件家族分类问题,对于恶意软件类别分类研究较少。类别分类是指按照恶意软件的行为特性将其分为多个类别,每个类别又包含很多恶意软件家族。尽管针对恶意软件类别的研究较少,但其具有重要意义,尤其是对于未知恶意软件来说很难把它归为某一家族,但根据其行为特性可以判断其所属类别。因此,本文将在研究恶意软件二分类问题的基础上,对不同类别的恶意软件分类问题展开分析及研究工作,从恶意软件运行期间特定进程的运行内存特征以及网络流量特征出发,设计新的恶意软件检测技术,本文的主要工作如下:（1）通过对不同类别恶意软件行为和目的方面的分析,发现了不同类别恶意软件与一些进程之间的联系,因此本文从这些特定进程入手,利用软件运行期间这些进程的内存数据作为恶意软件的识别特征,设计了新的恶意软件识别算法。实验结果证明,利用进程内存特征在二分类检测上可以达到99.73%的准确率,与已有方法比较,证明使用进程内存特征可以很好的区分恶意软件。（2）提出了一种基于进程内存数据的恶意软件类别识别方法。本方法将多个特定进程的内存数据转化为图像数据,将恶意软件检测问题间接转化为图像识别问题,利用图像识别的方法将内存图像数据输入到卷积神经网络自动学习特征并进行分类;更进一步,引入集成学习的思想,通过集成多个卷积神经网络的结果进一步提升了分类准确率。本方法在恶意软件类别分类问题上能达到93.67%的准确率,相比较于他人的工作有了一定程度的提高。（3）为了防止某些恶意软件通过单一特征伪装,对恶意软件分类识别结果造成干扰,本文在利用流量特征分析恶意软件的基础上,还将样本的内存特征与流量特征相结合去检测恶意软件类别,并对比了不同类别恶意软件之间识别率的差异。实验结果发现,采用进程内存特征和网络流量特征结合的方式,可以将恐吓类恶意软件的检测率提升6%,证明选择不同特征所检测出来的恶意软件类别是有差异的,为以后检测恶意软件选择特征时提供一种新思路。