分布式拒绝服务(DDoS,Distributed Denial of Service)攻击是当前互联网存在的重要安全威胁。随着Internet规模的不断扩大和网络带宽的不断提升,网络DDoS攻击的流量也随之增大。巨大的网络流量给网络安全检测设备和技术带来了前所未有的压力,而传统的单一服务器已经不能满足实时大数据的吞吐能力要求,近年来,学术界和工业界对大数据处理技术和平台的研究十分火热,大数据处理平台Spark的诞生为大流量的DDoS攻击的快速实时检测和防御带来了可能,借助计算机集群资源利用Spark大数据处理平台和技术手段,能有效解决计算能力上的瓶颈问题。在深入分析各类DDoS检测和防御方法的基础上,本文提出了一种基于源簇特征统计的自适应实时DDoS攻击检测方法,并设计了基于分组过滤的DDoS攻击防御策略。通过对滑动窗口内源簇进行分组,并将各分组内源簇比例的最大偏差与阀值进行比较,检测出DDoS攻击流量。当检测出网络流量中存在DDoS攻击流量时,将根据分组过滤策略对DDoS攻击流量进行过滤。基于Spark Streaming大数据流处理框架,本文设计了一个基于大数据流处理的自适应实时DDoS攻击检测和防御架构,将提出的基于源簇特征统计的自适应实时DDoS检测方法和基于分组过滤的DDoS攻击防御策略,在大数据处理平台上进行了实现。框架由Kafka消息中间件模块、基于Spark Streaming的检测模块和基于Spark Streaming的防御模块三部分组成,通过实时感知网络流量和最大流量带宽阀值,实现了对DDoS攻击的自适应快速检测和有效响应。实验结果表明本文提出的技术方案可很大地提升检测能力,保证了网络服务能被合法用户访问,为保障网络服务性能和安全检测的可扩展性提供了一种可行的解决方案。