在多智能体(agent)环境中如何应用强化学习的方法完成特定任务一直以来都是强化学习领域的一个难点,多个智能体之间有效的沟通和协调是迈向通用人工智能的重要手段。目前很多传统的强化学习算法能够实现在简单环境下的单智能体学习,然而在多智能体环境中,由于环境的复杂性和动态性,学习过程遇到了很大的困难,会出现维数爆炸、目标奖励确定困难、算法不稳定难以收敛等问题。本文介绍了一种基于改进DDPG的多智能体强化学习方法,通过对结合了双向循环神经网络的DDPG模型进行改进,并和其他算法进行对比,最终改进后的算法在收敛速度和任务完成度方面有明显提高。本课题主要研究内容如下:(1)对传统强化学习(单智能体强化学习)和多智能体强化学习算法的国内外研究现状进行了概括,介绍了经典算法的模型结构及博弈论在多智能体环境下应用的基础知识,并提出基于多智能通信的多智能体强化学习算法;(2)针对两种在近年提出的较为先进的基于通信的多智能体强化学习算法MADDPG和BiCNet,根据已有的计算机模拟演习实验环境,重新定义环境奖励和任务,在不同的环境下分别对两种算法进行实验,通过实验结果分别分析其优点和各自的局限性,并结合这两种算法的优化方法,提出一种在DDPG算法基础上进行改进的算法。(3)为解决前两个算法性能低下和难以适应不同环境的问题,搭建的Mi-DDPG(Mixed Deep Deterministic Policy Gradient)算法首先在Actor网络加入双向循环网络作为同质智能体信息交流层,接着在Critic网络加入异构智能体信息来学习多智能体协同策略。另外,为了缓解训练压力,采用集中训练,分散执行的框架,同时对Critic网络里的Q函数进行模块化处理。这样既提升了算法的性能和执行效率,也保证了算法在不同环境下的泛化能力。(4)实验中,在不同的场景下用Mi-DDPG算法与其他算法进行了对比,Mi-DDPG在收敛速度和任务完成度方面有明显提高,它具有在现实世界应用的潜在价值。