本文主要是研究离散时间马尔可夫决策过程在优化排队系统的应用．全文主要内容由理论基础和实际应用两部分组成．首先，在理论部分我们介绍了在一维的状态空间下，马尔可夫决策关于平均费用准则的最优平稳策略的存在性条件，及其性质．为了后面应用的需要和方便，我们将上述在一维状态空间情形下的最优平稳策略的存在条件推广到两维的状态空间情形．特别地，对Sennott(1999)中命题7.7.3和命题7.7.5不完善之处进行了严格的修改． 在应用部分我们给出了四种常见的但是状态空间和行动空间各不相同的排队系统，通过引入费用函数和控制策略，证明它们在平均费用准则下最优平稳策略的存在性．特别，对其中两个排队系统，我们计算出了最优平均费用的值以及相应的最优平稳策略，得到了令人满意的结果，这些结果对于优化排队系统有一定的意义．