论文部分内容阅读
不确定环境的时序决策问题是强化学习研究的主要内容之一，agent的目标是最大化其与环境交互过程中获得的累计奖赏值．直接学习方法寻找最优策略的算法收敛效率较差，而采用Dyna结构将学习与规划并行集成，可提高算法的收敛效率．为了进一步提高传统Dyna结构的收敛速度和收敛精度，提出了Dyna—PS算法，并在理论上证明了其收敛性．该算法在Dyna结构规划部分使用优先级扫描算法的思想，对优先级函数值高的状态优先更新，剔除了传统值迭代、策略迭代过程中不相关和无更新意义的状态更新，提升了规划的收敛效率，从而进一步提升了