随着高新技术的迅猛发展,现实世界中涌现了大量的复杂人造系统即离散事件系统(DES),它作为计算机控制与系统科学的一门新兴分支在最近的二三十年里得到了蓬勃发展。典型的例子有通信系统中的呼叫接入控制。然而,现在对离散事件系统建模的研究,还远不是成熟和完善的。尤其是基于Markov模型的分析不是很全面,因此有必要基于Markov模型对DES进行分析。此外,基于DES统计性能层次的Markov决策过程的优化问题是近年来研究热点。本文将Markov模型的分析方法应用于呼叫接入控制问题,研究了它的策略优化算法。概括起来,论文主要包括以下几方面的内容:1、基于Markov模型的离散事件系统的分析利用马尔科夫链的结果,在离散事件系统逻辑层次基础上,对DES的Markov模型的稳态和暂态特性,分别从时间参数连续和离散的情况下,分四个情况进行了分析,文章还讨论了DES模型统计性能层次与逻辑层次之间的联系。在此基础上,结合DES的统计性能层次研究系统平均性能及其优化,目的寻找一个呼叫接入控制策略使长期平均报酬达到最大,采用动态规划的方法,使性能势与Markov决策过程方法相结合,推导出策略优化算法。2、呼叫接入控制系统的计算机仿真实验。在1的基础上,采用单个样本轨道的仿真,设计一种效率较高的在线仿真算法。用函数逼近的技术以适合的平均代价梯度来在线更新策略参数,算法迭代最终得到平均代价准则的最优化策略。