论文部分内容阅读
进入21世纪初后,计算机网络技术得到了极大的进步,互联网为人们生活工作带来了极大的便利。由于人们对于网络服务的需求不断提高,各类网络服务系统的数量和规模也同时不断增长,即时通信、视频点播等网络应用和服务己经大量被人们所使用。在网络结构方面,以传统的C/S结构为代表的单服务节点网络系统已经逐渐被分布式网络服务系统所取代,其中以P2P和内容分发网络两种覆盖网络结构最为流行,并且已经被大部分网络服务系统所使用。尽管分布式网络服务系统拥有十分不错的性能和扩展性,但是在用户规模不断增加的情况下,仍然表现出了一些性能上的瓶颈。同时,由于某些系统管理策略的不足,导致了这些系统资源利用率较低,系统运运营商难以获得理想的收益。接入控制策略作为一个请求能否进入系统的依据,其对于网络服务系统的负载控制和收益具有较大影响,因此对于接入控制的优化具有重要的理论和实际应用价值。本文针对分布式网络服务系统的接入控制问题进行研究,主要围绕用户服务请求在系统中各服务节点处的接入控制过程,在实际的网络背景下,根据随机优化的思想,建立系统的随机动态演化模型来描述系统的控制过程,并在模型的基础上利用策略优化算法来获得系统的最优接入控制策略以实现系统性能的最优。本文的主要工作和创新性可以概括如下。第一,针对分布式网络服务系统的接入控制问题,提出一种基于半Markov决策过程模型的优化方法。首先,研究了系统参数固定时的接入控制策略优化问题,采用一个半Markov决策过程来描述系统中各个服务节点处请求的接入控制过程,系统根据当前状态和请求类型来判断是否接入一个新请求。然后,研究了系统参数随时间变化时的接入控制策略更新问题,提出一种接入控制策略切换机制,当系统参数变化达到一定程度时,系统在其基础接入控制策略集中选择一个接入控制策略来控制新到达的请求,采用一个新的半Markov决策过程对系统的接入控制策略切换过程进行描述,根据系统各节点处的请求到达率和时刻判断选择的接入控制策略。优化的目标是提高系统的长期运行平均收益,针对两个半Markov决策过程模型,分别采用参数化随机策略和确定性策略作为行动策略,并通过梯度法和Q学习法对接入控制策略和接入控制策略的切换规则进行优化。提出的随机优化模型能够较为准确的描述出一个分布式网络服务系统的接入控制过程,并且能够反映出系统中各种因素对接入控制的影响。第二,根据实际网络系统中接入控制的特点,提出一种基于事件的梯度优化方法。首先,根据事件的思想,给出了基于事件描述一个实际系统控制过程的方法。然后,研究了在使用基于事件的参数化随机策略时系统的控制策略优化问题,通过基于性能灵敏度的方法分析并推导出了系统的性能差公式以及系统性能关于策略参数的梯度公式,采用随机逼近方法给出了系统的性能梯度估计算法和在线策略迭代算法。最后,考虑在两种不同约束下的策略优化问题,通过事件思想并结合拉格朗日法,提出了一种解决带约束情况下的策略优化算法。相比于基于Markov决策过程的策略优化,基于事件的优化方法能更好的反映出实际控制系统的特点,并且能够在优化过程中有效降低了算法的复杂度。第三,针对分布式网络服务系统中存在己接入的请求被丢弃概率约束时,如何对接入控制进行优化的问题,提出一种基于事件的优化方法。首先,通过事件描述了系统中各服务节点处的接入控制过程。系统中的主要事件分别为请求被接入并被服务、请求被接入但是被丢弃、请求被拒绝。然后,定义了系统的风险事件和事件的风险指数,并根据事件的风险指数给出了系统风险指数的公式。模型中给出的系统风险指数即系统长期运行过程中一个接入的请求被丢弃的概率,这样就将原问题中的概率性约束转化为了一般性约束。最后,通过拉格朗日法,给出了系统的拉格朗日报酬函数和性能,并根据基于事件的优化算法得到了满足约束条件下的系统最优接入控制策略。