论文部分内容阅读
随着云计算、大数据、MapReduce、虚拟机迁移的发展,数据中心内部通信业务急剧增加、网络流量显著增长,数据中心网络的带宽很难满足密集型应用的带宽需求,面临着网络拥塞的风险。传统的计算机网络是分布式的复杂结构,拥塞算法的设计极为困难,很难满足当前需求,软件定义网络的出现和发展使数据中心网络拥塞控制的问题得到了新的解决办法。SDN(Software Defined Network,软件定义网络)的核心思想是控制层和数据层分离,使得控制层的控制器可以对全网进行集中管理,为拥塞控制算法的设计提供了便利,越来越多的科研人员开始研究SDN数据中心网络的拥塞控制。在网络智能化发展的大背景下,SDN作为未来网络架构方式更应该表现其智能性,SDN数据中心网络拥塞控制应该具有很强的自适应能力和较高的控制效率。强化学习是机器学习的一个分支,是一种无模型的学习算法,在强化学习的模型中,智能体可以与环境交互进行学习,做出很好的决策。本文将Q-Learning算法引入SDN架构的数据中心网络,实现基于流的拥塞控制,提出了一种基于Q-Learning的离策略拥塞控制算法。该算法采用为每一条流分配速率的方式进行拥塞控制,通过Q函数的设计,将寻找最优拥塞控制决策的问题转化为求解最优Q矩阵的问题,最优的Q矩阵就是智能体学习到的知识,即拥塞控制策略。Q-Learning算法是一种离策略算法,自适应能力差,针对这一问题,本文将SARSA算法引入SDN架构的数据中心网络,实现基于流的拥塞控制,提出一种基于SARSA的在策略拥塞控制算法,这种拥塞控制策略也是采用分配速率的方法,但是SARSA算法每个状态的行为决策都会根据实际情况变化,对于数据中心网络状态的变化具有很强的自适应能力。本文的最后对基于Q-Learning的离策略拥塞控制算法和基于SARSA的在策略拥塞控制算法进行了测试,结果表明基于Q-Learning的离策略拥塞控制方法和基于SARSA的在策略拥塞控制方法,都能有效的实现拥塞控制,并且基于SARSA的在策略拥塞控制方法在链路利用率这一性能指标上,稍优于基于Q-Learning的离策略拥塞控制方法。