近年来,强化学习逐渐成为人工智能领域中的研究热点之一,并在机器人控制、棋类游戏、电子游戏等众多领域取得了令人瞩目的成绩。策略单调提升的优化算法是当前强化学习中的一个重要研究分支,在离散型和连续型控制任务中都取得了良好的性能表现。在此类算法模型进行更新学习的过程中,通常使得学习策略单调提升,但由于其策略代理目标函数的特殊结构,在训练中可能会导致算法更新缓慢,并且过高的方差会影响算法的收敛速度。本文针对近端策略优化算法中收敛表现不稳定、样本利用率低、经验指导不准确以及方差偏高等问题,提出了一系列改进目标策略函数的近端策略优化算法。主要研究可以概括为以下三个方面:（1）基于自适应置信区间的近端策略优化算法。近端策略优化算法在解决实际控制任务时,对目标值函数进行限制,并在原始值和截断值之间选择较小的进行学习更新,来防止策略更新过快。但过度的限制会导致目标策略与当前策略无限接近,最终使算法停滞不前,更新缓慢。针对上述问题,本文提出一种能使置信域区间自适应改变的机制,根据策略更新的幅度自适应判断其置信区间,提高算法的稳定性。在部分Atari 2600游戏环境中对该算法进行了验证,实验结果表明算法的更新速度得到一定的提升。（2）基于自指导动作选择的近端策略优化算法。近端策略优化算法是一种经典的策略单调提升算法,作为同策略算法不能对经验样本进行利用,因此导致算法样本利用率低。针对上述问题,本文提出一种基于自指导动作选择的近端策略优化算法。该方法不仅根据重要性采样权重对样本经验进行利用,而且增加一个同步更新的经验池存放自身优秀样本经验,并利用该经验池学习到的自指导网络对动作选择进行指导,最终大大提升了经验样本利用率。在部分Mujoco任务环境中对该算法进行了验证,实验结果表明算法能有效指导智能体朝着高奖赏回报的方向学习更新。（3）基于生成对抗网修正的近端策略优化算法。在近端策略优化方法中,优势函数为每一个智能体当前状态下的动作值提供优势估计的相对度量,以此判断该动作值是否具有优势。为了使智能体获得更为准确的决策能力,本文提出将生成对抗网络中生成器构成的主观度量作为优势函数提供真实度量的辅助,判别器则根据真实环境和生成器使用随机梯度上升来更新。将该算法应用于连续性控制任务中,实验表明利用生成对抗网修正优势函数,可以提高算法的性能,并在一定程度上降低了算法的方差。本文提出的三种算法分别有效的解决了近端策略优化算法中更新缓慢导致收敛表现不稳定、经验样本利用率低、智能体决策不准确以及方差偏高等问题。算法的总体性能得到了有效地提升。