随着移动网络的高速发展,以智能手机和平板电脑为主的智能终端的数量呈指数级的增长。智能手机的普及给人们的生活带来了诸多的便利,同时也存在着许多安全问题。近年来,恶意应用日益猖獗,给用户和社会带来了极大危害,也给网络安全与管理带来新的挑战。而大部分的恶意应用通过网络执行恶意行为,因此,分析移动应用产生的恶意流量成为安全领域研究的热点。近年来,基于机器学习的流量识别技术日趋成熟,这使得从机器学习与网络技术的角度对恶意流量准确识别成为可能。然而应用机器学习技术,研究有效的恶意流量识别方法,数项关键问题却亟待解决:(1)恶意流量特征提取问题。随着技术的发展,采用传统特征对恶意流量的识别率已经不能满足实际需求。(2)包抽样问题。在高速网络环境中,网络的速率越来越快,采集和处理完整数据流相当困难;包抽样技术的发展给流量识别提供了一种新思路,减轻了计算机的负担。(3)非平衡流量分类问题。从互联网中流量分布角度来看,正常流量远远高于恶意流量,直接采用标准的分类算法更倾向于对正常流量的准确识别,分类器获得的性能往往不尽人意。针对恶意流量识别中的以上问题,本文将从以下几个方面开展研究工作:首先,针对恶意流量特征提取和评估问题,本文分别从数据包层面和内容层面提取了特征,采用机器学习算法对数据集进行训练,并构建有效的恶意流量识别模型。其次,针对样本抽样问题,本文在早期恶意流量识别中,采用了数据包抽样技术,结合分类算法验证了样本抽样在流量识别中的有效性。最后,针对非平衡分类问题,本文从数据层面的角度出发,提出了三种解决方法。(1)本文提出了一种基于对抗生成网络的样本再生成方法,通过网络的对抗训练学习真实数据的潜在分布并合成少数类样本,结合机器学习算法验证了方法的有效性。(2)本文提出了一种非线性加权差异化样本重采样方法。该方法构造出一个在能反映少数类的安全样本和边界样本对分类有不同作用的函数,计算每个少数类样本的权重和采样率。然后,结合SMOTE算法对样本进行过采样并验证了算法的有效性。(3)本文提出了一种基于差分进化的改进的SMOTE算法。通过差分进化算法智能地搜索最优的采样率取值组合,然后根据该组合对数据集进行SMOTE采样。实验表明,该算法在解决非平衡问题上是有效的。