论文部分内容阅读
随着用户业务需求的多样化以及移动终端设备爆炸式增长,传统的网络架构明显已经不适用于当前的网络发展。在5G网络时代,采用网络功能虚拟化(Network Function Virtualization,NFV)技术和软件定义网络(Software Define Network,SDN)技术相结合,将每种网络业务请求通过一系列虚拟网络功能(Virtualized Network Function,VNF)处理,这些VNF按特定的顺序连接起来构成服务功能链(Service Function Chain,SFC),进而为不同业务提供服务,因此本文重点研究了虚拟化网络中VNF的部署和迁移问题,论文的主要研究工作和创新点总结如下:1.针对NFV/SDN架构下,服务功能链的资源需求动态变化引起的VNF迁移优化问题,本文提出了一种基于深度强化学习的VNF迁移优化算法。首先,在物理底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔科夫决策过程(Markov Decision Process,MDP)的随机优化模型,该模型联合优化网络能耗和SFC端到端时延。其次,由于本文的状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略。仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率。2.针对NFV/SDN架构下,网络服务请求动态到达引起的SFC部署优化问题,提出了一种基于改进深度强化学习的VNF部署优化算法。首先,建立了MDP的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过?贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。