强化学习是机器学习的重要分支,它通过智能体与环境交互,寻找解决问题的最优策略。但在实际应用中,因为状态维度的增加产生的“维数灾难”现象,严重降低了强化学习的效率。分层强化学习是一种拓展的强化学习方法,可以一定程度上缓解“维数灾难”的影响。不过MAXQ、Option、HAM等一些典型的分层强化学习方法都需要在学习前人工构造层次结构,在先验知识不足时难以得到理想的效果。在此基础上,一些已提出的自动分层方法通过对环境状态进行抽象、分解来发现子目标,但是在环境状态中不具有明显的子目标时,分层效果也不理想。针对这些问题,本文做了如下两点工作:(1)提出一种基于动作空间的自动分层方法。通过划分动作子集,分析agent在完成目标的过程中动作执行的次序,推论出动作子集之间的上下层关系,利用动作子集间的关系构造出层次结构。(2)为了使构造出来的层次结构可以使用MAXQ方法寻找最优策略,本文对MAXQ方法中子任务终止的条件做出了修改,并且说明了如何动态调整任务结构。实验结果表明,本文提出的自动分层方法能够有效构建任务结构,并可以与MAXQ方法结合学习分层结构,而且能够更高效的寻找最优策略。