对话生成是自然语言处理的重点研究方向。随着深度学习的兴起,对话生成得到了较快的发展。但是还存在一定的挑战,首先,生成回复的文法结构可能不正确,不符合人类的语法;其次,容易产生无聊并且没有信息量的回复;最后,会面临对话没有上下文相关性的问题,得到与语境不符的回复。本文提出一种基于近端策略优化PPO的对话生成方法PPO＿GAN。该方法采用对抗生成网络GAN的框架,其中生成模型用于生成对话,判别模型用于区分生成的对话与真实的对话。并采用近端策略优化的方法训练对抗生成网络,能处理对抗生成网络在对话生成时导致的反向传播不可微分的情况,在保证生成模型单调非减训练的同时,通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。本文的主要工作有:1)训练了一个带有注意力机制的序列到序列模型,作为对抗生成网络的生成模型,用于生成对话;2)训练了一个层次神经网络,作为对抗生成网络的判别模型,用于区分真实的对话和生成模型生成的对话;3)利用近端策略优化算法迭代训练对抗生成网络,并在对抗训练的过程中,利用蒙特卡洛算法计算每个单词的奖励。本论文的创新之处是:在模型训练方式上进行了改进,利用对抗生成网络的架构,结合强化学习方向的进展,提出的对话生成方法PPO＿GAN。该方法对比于开放领域对话生成的经典算法极大似然估计,其拥有判别模型可以更好地指导对话生成的训练;对比于最近提出的对抗训练方法AdverREGS,其不仅通过优化带有惩罚项的代理目标函数来得到生成模型参数更新的方向和步长,保证了生成模型的训练是单调非减的,而且通过生成模型自适应的多次迭代,提高了判别模型返回奖励的利用率。本文使用了开放领域对话生成模型训练的通用数据集,通过训练时损失的收敛速度评估了训练的效率,并且通过困惑度、无聊响应出现的频率以及对话生成的示例评估了对话生成的质量。对比于开放领域对话生成训练的极大似然估计算法与Adver-REGS算法,PPO＿GAN算法提高了对话训练的效率并且改善了对话生成的质量。