近些年来,接入设备的激增、网络应用的不断涌现和互联网流量的爆发式增长使得网络规模迅速扩大、网络环境日益复杂,开展网络安全分析工作的难度越来越大。与以往相比,网络攻击的隐蔽性更强而且更加难以防范,有针对性的大规模恶意网络攻击也愈发常见,网络安全形势依然不容乐观。当前,网络安全分析系统所面临的挑战不仅仅来自于攻击手段和技术的不断进化,计算速度以及横向扩展能力已成为制约基于传统架构模式的网络安全分析系统向复杂网络环境迁移的主要瓶颈,海量的数据规模已经远远超过了其处理能力的极限。本文首先从系统架构入手,提出了一种以开源大数据技术为依托的网络安全实时计算平台设计方案,该设计方案共包含七个层次,每一层都作为一个功能实体向上提供服务。平台架构中各层的实现都依赖于高性能分布式技术,如Storm、Spark、Kafka、Flume等,涵盖了集群资源管理、分布式协调、数据持久化存储、计算引擎等方面。该架构可以同时提供实时计算、离线处理、图计算等多种类型的数据处理服务,而且能够很好地满足海量数据存储需求。在这种以大数据技术为中心的架构模式之上,本文实现了一个面向天津教育城域网的实时流量监控系统。该流量监控系统在底层计算引擎上同时部署了多项数据处理业务逻辑,可以实现对多种类型DDoS攻击的预警与检测。本文所设计的DDoS攻击检测算法主要包括指数加权移动平均算法(EWMA)、异常流量区间定位算法和攻击类型判别规则这三个部分:EWMA算法按照指数递减的方式来为历史数值赋予权重并计算下一时刻的预估值,通过对比实际测量值和预估值就可以判别出网络流量的异常波动;与EWMA的分析结果相结合,异常流量区间定位算法能够实现对网络流量异常时段的准确定位;攻击类型判别算法则为不同类型的DDoS攻击提供了有针对性的判别规则。本文从系统吞吐量、Worker并发数、节点负载等维度对系统性能进行了深入的分析和讨论,而在验证DDo S攻击检测有效性的过程中,本文将天津教育城域网Netflow数据与绿盟抗DDoS系统(Anti-DDoS System)日志相结合,通过ADS日志压缩、数据处理、数据分析等操作步骤实现了对本系统DDoS攻击事件检测效果的评估。最后,本文借助多项网络负载指标对天津教育城域网流量变化情况进行了深入分析和探究。