大数据时代下,传统的异常流量检测采用静态规则匹配的方法,已然不能满足多变复杂的网络环境。而机器学习由于其自学习、自演化的特性,不但可以检测出异常流量,而且可以对未知的异常进行标记识别,因而采用机器学习方法进行异常检测已经成为网络安全领域的研究热点。由于机器学习依赖于数据的处理和学习模型的构建,因而在进行异常流量检测时,具体有两个问题需要解决:一是减少原始数据产生的干扰,去除冗余数据,降低异常检测的时间开销;二是需要一个高效的方法来提高异常检测的准确率与精度。针对这两个问题,本文采用机器学习中的流形学习和GBDT方法进行异常检测,并且将异常检测分为数据预处理和数据分析两个部分。第一部分是网络数据的预处理阶段,主要解决网络数据的降维问题。网络流量数据由于其内部结构复杂,数据体量巨大、种类繁多,并且存在冗余数据,在进行数据挖掘和信息处理时,会有巨大的计算量,从而降低分析处理的效率,因而需要对高维网络数据进行降维处理。基于此,本文提出一种有监督判别投影的流形学习降维方法,该方法在考虑类别信息的基础上进行有监督降维,降维投影之后能够实现同类数据聚集,不同类数据分散的效果。同时通过对高维数据进行降维操作,可以有效降低数据量的大小,从而避免过大的计算量,并深入挖掘网络流量数据的本质。第二部分是数据分析阶段,主要解决异常检测模型的分类准确性较低的问题。本文在考虑不同类别数据的分类代价不同的基础上,提出一种基于代价敏感的随机GBDT异常检测方法。该方法首先将代价矩阵引入到损失函数的设计中,建立代价敏感损失函数,降低不同类别数据的分类代价;而为了减少计算量并提高计算速度,将随机梯度提升思想引入到GBDT方法中,在GBDT的决策树构建中,随机选取训练集的一部分。通过对GBDT方法的改进,本文提出的基于代价敏感的随机GBDT方法可以有效提高异常检测的效率。最后,通过仿真实验证明了本文所提出的有监督判别投影方法在不同类别数据上进行数据分离的优越性,以及所提出的基于代价敏感的随机GBDT异常检测方法在提高异常检测效率上的有效性。通过数据预处理阶段和数据分析这两部分的实验分析,证明本文所提的方法可以有效提高异常检测的准确率。