针对传统的网络异常行为检测方法无法满足大规模数据的存储和处理,且由于算法单一普遍存在准确率较低、误报率较高等问题,本文首先对基于大数据的网络异常分析平台进行了研究,设计了一种基于大数据的网络异常行为分析平台;然后基于Spark设计并实现并行化SA_SVM_RF网络异常行为检测模型;最后利用NSL-KDD数据集验证了方法的有效性。具体地,本文主要的研究成果如下:(1)设计了一种适用于网络异常行为分析的平台。在对现有大数据分析平台进行研究的基础之上设计了一种针对网络异常检测的分析平台,该平台包括数据采集与预处理层、数据分析层、数据存储层和可视化层。充分利用大数据技术,解决了传统网络异常行为分析方法在应对在大数据环境时无法有效处理的问题。(2)提出了一种网络异常行为检测方法。基于Spark设计并实现了并行化SA_SVM_RF网络异常行为检测模型,并利用NSL-KDD数据集对提出的算法进行对比测试,实验结果表明,该算法能有效提高网络异常行为检测的准确率,降低误报率,也提高了检测速率。(3)实现了网络异常在线检测。为验证模型的有效性,利用Jnetpcap和Flume采集数据并发送到Kafka,Spark streaming通过读取Kafka中的实时数据流,并利用检测模型进行实时检测。实现了海量数据的并行化采集和实时检测。综上所述,本文充分利用大数据技术和机器学习在网络异常检测中的优势,有效提高了网络异常行为检测的处理速度、准确率,降低了误报率。对大数据环境下网络异常行为检测有一定的理论意义和实际应用价值。