分布式拒绝服务(Distributed denial of service attack,DDoS)攻击一直是互联网的主要安全威胁之一,且日趋严重。随着近年来机器学习技术的发展,有学者开始将前沿机器学习技术运用在DDoS攻击的防控研究当中。但DDoS攻击模式随着新协议和新应用引入会不断发生变化。同时,突发性和季节性的流量变化也会进一步加剧这种情况。这种非平稳性问题是阻碍机器学习落地于DDoS防御的障碍。基于试错学习的强化学习算法为DDoS防御提供了另一种视角:强化学习智能体可以通过实时监测网络性能动态调整策略,从而优化网络,防御DDoS攻击。通过这种闭环控制结构实现的在线学习,有望解决DDoS非平稳性的难题。于此同时,新型网络——软件定义网络(Software-Defined Network,SDN)的出现与近年来的发展也为基于机器学习的DDoS攻击防御研究做好了技术上的准备。得益于SDN集中化管控架构,网络安全状态数据能够被统一的实时采集,安全策略也能够被更好的统筹实施。为此,本文基于SDN、强化学习等前沿技术,基于对DDoS攻击的模式特点分析建模,对DDoS攻击防御问题展开了研究。首先,使用马尔可夫决策过程(Markov Decision Process,MDP)对DDoS防御问题进行了建模,基于SDN集中控制的思想,提出一种基于深度强化学习的DDoS防御方法。其次,使用了近端策略优化(Proximal Policy Optimization,PPO)算法,设计三种不同的动作进行攻击缓解。通过奖励塑形和课程学习提高训练速度和效果。并基于该算法模型,提出了基于SDN和强化学习的DDoS攻击防御系统。该系统包括强化学习和决策下发模块和数据收集模块等。最后,基于Tensorflow与OpenDaylight,实现所提出的方法及系统,并通过实验验证、评估系统的正确性和有效性,结果表明:在不同攻击模式下,该系统都能够缓解恶意流量,同时有效保证正常用户的使用。