互联网的极速发展,给每个人的日常生活都带来了越来越多的便捷。然而越来越多伴随而来的信息安全问题暴露在人们的视野内。面对日益严峻的互联网安全局势,国家也出台了相关的法规政策来促进信息安全产业的稳定发展。然而,作为信息安全第一道防线的网络流量异常检测领域依然面临首当其冲的威胁。随着近几年机器学习的迅速发展,许多研究人员使用机器学习算法来解决异常检测领域的难题,并且取得了许多实验成果。然而在真实的网络环境里,流量数据一般较为原始,同时量级巨大;想要对流量数据进行准确的标记是十分困难的。这些问题对于传统的机器学习算法是巨大的考验。聚类算法是无监督学习中的代表,可以直接从未打标签的数据中,发掘出数据间一些隐藏的结构规律,从而建立检测模型。基于这样的背景下,本文主要尝试使用机器学习中无监督学习算法来对网络异常流量检测问题进行研究。特征选择是数据预处理中的较为重要的一步。为此,本文提出了一种无监督的特征选择算法。通过计算每个特征间的最大信息系数来得到特征对于类别信息的重要度,之后根据特征间的相近程度进行特征聚类。实验结果表明,在对准确率影响不大的前提下,该算法选出的特征子集比原特征集在运行时间上有明显优势,并且降低了多维特征的复杂度。在类别标签难以获取的背景下,聚类算法更适合用来建立异常检测模型。实验发现基于密度的密度峰值聚类算法比其他经典的聚类算法的聚类效果要好一些。然而原始的密度峰值聚类算法存在调参不便和无法应用在大规模数据中的缺点。本文根据这些缺点提出了两点针对性的改进方法。第一点,提出了一种更为简洁的参数,以方便调参工作;同时尝试使用基于高斯概率密度的异常点检测算法来自动选择参数,在一定程度上降低调参的难度。第二点,针对大规模数据的问题,提出了一种抽样方法,并且在实际的数据集上验证了抽样方法的有效性。