近年来,随着人工智能浪潮的兴起,“AI+”成为了这个时代的主流,诞生出了许多创新型的智慧产品。而对话系统在智能家居、智慧客服以及服务机器人等领域有着巨大的社会意义和市场需求,也得到了学术界的广泛关注与研究。对话系统主要包含三种类型:闲聊（chitchat）、问答（QA）和任务对话系统。本文主要研究任务对话系统,它通常需要与用户进行多轮的对话交互,进而帮助消费者完成具体需求,如话费套餐办理和酒店预定等。目前,由于现实生活中任务众多而且复杂,任务对话系统的研究成果迁移困难且效果不佳,是学术界研究的重点。任务对话系统主要包括自然语言理解（NLU）、对话状态追踪（DST）、对话策略优化（DPO）和自然语言生成（NLG）等四个模块,其中,对话策略在任务对话系统的模块中起着至关重要的作用,它根据当前的对话状态选择下一个系统动作。对话策略的好坏直接影响了整个任务对话系统的性能,进一步影响了消费者的体验,因此,任务对话策略的方法研究具有重大的实际意义。任务对话策略主要采用强化学习的方式进行训练,常用的方法是构建一个用户模拟器,让对话智能体与用户模拟器进行多轮交互来学习对话策略。用户模拟器可以看作是一种静态环境,对话策略的优化受到了用户模拟器的制约。此外,构建一个高质量的用户模拟器通常与构建一个好的对话智能体一样困难。针对上述挑战,本文提出了一种基于强化学习的多智能体对话策略优化方法（PPO＿Madpo）,具体的研究内容与改进点概括如下:（1）针对对话策略优化方法,调研国内外的研究现状,介绍深度强化学习与多智能体相关的理论和技术。（2）提出基于PPO的多智能体强化学习的对话策略优化方法。该方法将传统设计中的用户模拟器也构建成一个智能体,与系统智能体进行对话交互。这样的用户智能体不再是一个静态环境,而是一个可以在策略优化过程中同时进行学习的动态环境。这种方式避免了显式的构建一个用户模拟器,打破了静态环境带来的性能上限。两个智能体首先通过模仿学习中的行为克隆方式初步学习一定的策略,然后采用恒定裁剪机制的PPO算法同时对两个智能体进行策略优化,最后对该方法在Multi WOZ数据集上做了实验验证。（3）提出基于软注意力的混合值评价网络,并且在优势计算上引入了广义优势估计（GAE）算法。这是在我们提出的基于PPO的多智能体强化学习方法上的两点改进。首先在价值网络的设计上加入了sigmoid函数形成软注意门控,对编码向量的每一个维度进行信息的学习,得到用户和系统智能体的状态价值,并通过GAE算法对得到的状态价值计算优势值,然后使用优势值引导策略梯度的更新,最后在基准模型上进行了实验验证及结果分析。（4）最后,搭建评估任务对话策略方法的可视化应用平台。展示了1000个用户目标中不同领域类别或数量的对话结果,以及自然语言或对话行为方式的对话案例,验证了该方法的可伸缩性和优越性。