近几年来,深度强化学习已经成为人工智能领域的一个新的研究热点。目前,深度强化学习已经成功应用于游戏策略、机器翻译、文本生成、目标追踪等多个领域。然而,现有的深度强化学习模型大多用于解决环境状态完全可观测的任务,而关于部分可观测环境下的深度强化学习的研究仍旧很少。同时,现有的模型只是利用深度神经网络的泛化能力拟合值函数或策略函数,这类免模型的方法能够获得较好的性能,却常常忽略任务的结构信息。为了充分利用这种结构信息,本文提出了一种基于值迭代的深度强化学习算法,有效地结合了免模型学习和有模型规划的优势。受ADRQN模型的启发,该模型使用两个独立的递归神经网络分别完成信念状态的计算和Q值的迭代,并对输出进行整合用于动作的选择。与信念状态的计算相似,用于迭代Q值的递归神经网络结构以隐藏状态作为Q值的嵌入式表示,同时通过梯度回传,使得模型学习潜在的马尔科夫决策过程的结构信息,进而完成Q值的迭代。其次,本文对ADRQN模型中动作观察对耦合输入方式的次优性做了简要分析。为了规避由于观察和动作输入形式不同而造成的次优性,本文对模型的输入结构进行了简单修改,并应用于标准的POMDP任务上。与ADRQN模型相比,本文提出的模型在多个导航任务上均获得了更好的性能,从而验证了本文提出的改进方法的有效性。