强化学习是机器学习领域的一个重要分支,它采用学习与智能理论的一个基本想法——“通过与环境互动进行学习”来求解序列决策问题。由于其独特的“试错式(trialand-error)”学习机制,近年来得到越来越多研究者的关注。本文尝试从拓宽算法应用范围、改善学习效率等角度对强化学习算法进行研究,主要工作和创新如下:首先,针对不同马尔科夫决策过程(Markov Decision Process,MDP)中的相似度量问题,探讨了一种改进的相似度量算法,避免了先验知识和状态空间的约束,拓宽了算法的应用范围。其次,针对聚焦对象Q学习算法的复杂度和稳定性问题,探讨了一种简化的聚焦对象Q学习算法(Simplified Object Focused Q-learning,SOF-Q),通过采用新的控制策略来规避忽视状态空间带来的风险,仿真结果表明,SOF-Q算法在计算量和收敛稳定性上都有一定程度的改善。最后,针对OF-Q和SOF-Q中的控制错觉问题,基于Dyna架构改进了聚焦对象Q学习算法,通过将Dyna架构与聚焦对象的马尔科夫决策过程相结合来进行全局Q值的估计,利用了两者在状态空间探索利用上的优势,仿真结果表明,该算法在达到全局收敛性和避免控制错觉方面有优势。