近年来,深度强化学习已经成为了在具有完全可观测环境状态的顺序决策问题中最具有竞争力的方法之一,例如围棋电脑游戏。然而,现有关于深度强化学习的研究大多集中在环境状态可完全观测的问题上,关于部分可观测环境下的深度强化学习研究仍然非常少。而且现有的解决部分可观测环境的算法都存在一些理论局限性——它们都没有准确的拟合当前环境状态,因为从传统部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process,POMDP)理论出发,动作在POMDP中的信念状态的迭代更新中是不可或缺的,而现有的方法没有从这一点出发,因此忽略了动作所带来的影响。由此,本文从准确学习信念状态的角度出发,本文提出了一个新的深度强化学习算法——基于动作观察对的深度Q网络,用来关提高强化学习在部分可观测环境的下的性能。动作通过一个全连接层后,和经过三层卷积神经网络处理后的观察图像输入耦合成动作观察对,也就是串接成一个更高维的向量。然后通过LSTM层将这样的动作观察对进行整合,从而学习到一个潜在的状态,这个潜在的状态可以看做是信念状态的一种嵌入式表示,最后和传统的深度Q网络(Deep Q-Network,DQNs)一样,采用一个全连接网络生成Q值。我们在多个部分可观测问题上,包括多个标准的Atari游戏和闪烁版本的Atari视频游戏上,都取得更高的分数,并且具有更好的泛化性能和鲁棒性,从而证明了我们的算法的有效性。