随着科学技术的快速发展,互联网的规模不断扩大,网民数量日益增加。如何保护用户的信息安全,一直是网络安全领域中一个值得深入研究的问题。网络异常行为检测能够在早期发现未知攻击行为,可以为网络态势感知提供重要技术支持,近年来受到越来越多的关注。在开放的网络环境中,获取到的网络行为数据具有可用性低、冗余度高和多源异构等特点,在网络环境日益复杂的背景下,如何高效率的对网络行为原始数据进行研究与利用并且提高检测的准确性,是网络异常行为检测的关键。因此,本文主要针对实时网络环境中的网络行为异常检测问题进行研究,主要的工作如下:(1)在实时网络环境中,网络行为数据由于规模大、多源异构等特点,常常存在数据质量低下的问题。针对该问题,本文首先对数据进行预处理和格式化,这是用于提高数据质量的必不可少的环节。其中,数据预处理的主要步骤包括数据切割、数据清洗、格式转换、数据标准化和归一化;数据格式化则是将网络行为数据存储为直接可用的数据格式,方便后续操作以及算法学习。(2)针对传统的网络异常行为检测准确率较低的问题,本文提出了一种基于深度森林算法的网络异常行为检测模型。该模型使用深度森林(Deep Forest)算法对原始数据通过多粒度扫描以提升表征学习的能力,在此过程中,为找到使算法具有最优性能的超参数,本文使用K折交叉验证进行模型调优。然后深入分析了深度森林算法的各个分类器,对其性能特点进行了研究,并通过实验找到了整体性能较好的分类器组合。实验结果表明,本模型在采集到的真实数据和其他数据集上,无论训练集的数量规模大小,准确度都在99.8%以上;并且用深度森林与传统的聚类算法卷积神经网络以及支持向量机进行对比,发现深度森林算法模型的准确率和整体性能都优于其他算法。(3)针对实时网络环境中用户对网络异常行为检测的需求,本文设计并实现了一个基于深度森林算法的网络异常行为检测系统。该系统分为数据采集模块、数据转换模块、规则编辑模块、异常检测模块以及检测结果可视化模块。其中数据采集模块利用Wireshark软件从真实网络环境中获取原始网络行为数据并进行存储;数据预处理模块将获取到的原始数据转换成算法要求的数据格式;规则编辑模块根据用户输入的规则来检测获取的网络行为数据中是否包含有异常行为;异常检测模块利用深度森林算法实时监控用户网络环境是否安全,一旦检测到异常行为,系统向用户发出告警信息;最后,系统提供可视化平台对检测结果以及其他功能模块进行可视化展示。