强化学习作为机器学习领域中的一种主要算法,在智能决策和行为认知等领域有着重要作用,也是解决随机序贯决策问题的有效方法。虽然强化学习算法在基础理论研究和应用等方面取得了显著的成果,但大部分研究将系统所处环境都建模为Markov决策过程,而在实际应用中存在着大量系统,其环境难于用Markov决策过程精确描述,用半Markov决策过程代替Markov决策过程为系统所处环境建模可以有效克服上述缺点。由于半Markov决策过程为描绘时间因素提供了有效模型,半马氏强化学习算法在无人驾驶,工业控制、金融分析等领域有着广阔的研究前景和应用需求。针对当前Markov决策过程强化学习算法的不足,给出了一种将马氏强化学习算法拓展到半Markov决策过程的统一分析框架。该框架在平均报酬准则下通过性能灵敏度分析方法推导出连续时间型和离散时间型贝尔曼最优性方程,利用贝尔曼最优性方程的迭代形式得出半马氏强化学习算法状态动作对Q-值的更新公式。MATLAB仿真实验证明了本文拓展出的半马氏无模型强化学习算法的收敛性,进而验证了分析框架的有效性与实用性。此外结合增量值迭代算法和随机最短路值迭代算法,本文得出了两种新型的半马氏强化学习算法,并在此基础上引入二分法,得到基于二分法的半马氏强化学习算法。本文给出的统一分析框架可以使半马氏强化学习算法的拓展变的简单直观,对半Markov决策过程强化学习算法的研究也具有积极的指导作用。通过半马氏过程仿真实验,本文验证了半马氏强化学习算法的收敛性和寻找最优策略的有效性。仿真结果显示本课题所得出算法的收敛速度相比其它半马氏无模型强化学习算法至少有成倍的提升,其中增量值迭代强化学习算法的收敛速度最快。在无人车仿真实验中,使用增量值迭代强化学习算法和随机最短路值迭代强化学习算法得出的策略进行无人驾驶,无人车发生事故的次数为零次。无人车公路驾驶问题应用实例证明了理论的有效性和算法的实用性,通过该研究拓展了半Markov决策过程强化学习算法的适用范围。