广域网(Wide Area Network，WAN)作为将不同地域的网络系统连接起来的远程网络，在整个计算机网络的体系中扮演着重要的角色。近年来，各种新的网络应用呈现井喷式发展，网络流量持续增长，传统的网络流量调度方法难以满足当前的网络需求。软件定义网络(Software Defined Network，SDN)架构的出现为网络优化打开了新窗口。通过将控制平面集中起来，获取全网视图，可以对流量进行细粒度的控制，同时集中式的控制为人工智能技术在网络流量调度的应用上提供了前提条件。流量调度本质上是一个决策问题，而近年来兴起的深度强化学习(Deep Reinforcement Learning，DRE)技术是人工智能在决策类问题上的最新突破。本论文对近年来出现的一些基于DRL的流量调度方案进行了调研，在其基础上提出一种SDN架构下基于深度强化学习的广域网流量调度方案，以实现网络的拥塞避免，优化网络性能。
　　本论文的主要内容如下:
　　(1)对广域网流量调度问题进行分析。介绍传统广域网流量调度方案并分析其不足;介绍SDN架构下的广域网流量调度案例，指出在SDN架构下进行流量调度的优势;进一步分析了将当前的深度强化学习技术应用于广域网打造智能化的流量调度问题所需要满足的一些需求，包括主要的拥塞避免能力以及附属的容错性、计算实时性等需求。
　　(2)提出SDN架构下基于深度强化学习的广域网流量调度方案。首先对广域网流量调度问题进行建模，将业务流合并为聚合流进行调度;然后提出了采用深度Q网络(Deep Q Network，DQN)算法进行流量调度方案的整体框架，设计其中各模块的功能和信息流程，介绍了该方案的总体工作流程;调度方案中的基于DQN的实时智能路由用于根据网络当前状态为流量分配最优路径;基于DQN的智能重路由用于在网络即将拥塞时进行路由重构，动态地调整网络的流量分布，相比于现有的基于DRL的动态调整算法，采用这种触发式的方式，降低了控制器的计算压力和交互压力。
　　(3)提出基于DQN的实时智能路由算法。进行了DQN智能体的设计，针对现有基于DRL的实时路由算法难以兼顾容错性和计算实时性的问题，提出一种特殊的数据预处理的方法，使智能体对网络拓扑变化有较好的容错性，同时通过该方法得到的特征向量能够有效地表征网络流量分布状态，降低了神经网络进行特征提取的压力，使得采用简单的多层全连接网络即可有较好的性能表现，具备较好的计算实时性;设计了奖励函数，对DQN智能体的训练方法进行了详细的说明。
　　(4)提出基于DQN的智能重路由算法。注意到在动态路由中流顺序对网络负载均衡的影响，利用SDN网络可以获取网络实时流量带宽信息的特点，采用实时智能路由同样的DQN智能体，结合当前的流量信息进行智能演算，以获取最佳的流量路径，对网络流量分布进行重构，进一步实现拥塞的避免。
　　(5)搭建仿真网络，对所提的流量调度方案进行测试。首先是搭建仿真网络，在其中进行了DQN智能体的训练;然后对所提流量调度方案的基本性能，也就是拥塞避免，进行了测试，实验表明，该方法能有效地进行网络流量的灵活动态的调度，实现拥塞的避免，相较于传统的约束最短路径优先(Constrained Shortest Path First, CSPF)算法，本论文提出的调度方案可以提升约15％的拥塞避免能力;最后对该方案的各项附加属性进行测试及分析，指出其可以满足广域网流量调度中容错性、计算实时性等需求。