随着强化学习算法在机器人场景上的应用与发展,此类算法表现出了巨大的潜力;同时,模拟框架的出现为基于强化学习算法的机器人训练任务提供了一个便利的训练方式。但是,大多数强化学习训练任务仍然是在单物理节点上运行,物理节点的性能成为了限制训练任务执行效率的一个瓶颈,迫切需要寻找一种途径解决单物理节点的性能限制问题;同时,强化学习算法在分布式平台上运行时会因为物理网络的延迟增加时间消耗,因此,有必要对通信开销进行优化。本文在国内外已有研究的基础之上,设计并实现了一个面向机器人模拟与强化学习的分布式训练平台Re-Ray(即分布式框架Ray的remake版本),为各种强化学习算法在机器人模拟框架上的训练任务提供了一个通用性平台。然后,本文基于进化策略算法提出了ES-RPRS算法,为强化学习算法在分布式场景下的优化提供了新的思路。主要研究工作如下:(1)基于开源的分布式框架Ray,设计并实现了一个面向机器人模拟的分布式训练平台Re-Ray,其主要服务于强化学习算法在机器人模拟应用的训练任务。Re-Ray平台的重点工作:首先,基于分布式框架Ray提出了本平台Re-Ray的架构设计;然后,分别从应用层、分布式框架Ray的适应性修改、多种模拟框架的整合与修改、容器层四个方面完成了训练平台Re-Ray的设计与实现;最后通过实验的对比分析,验证了Re-Ray平台的各方面性能表现。Re-Ray平台既能够为用户提供更丰富的模拟机器人种类与场景,又为用户提供了使用上的便利性。(2)在分布式平台Re-Ray基础之上,针对分布式训练平台网络延迟问题,提出了ES-RPRS算法,该算法能够在提高训练速度的同时具备较低的计算复杂度和高并行性。本文根据分布式场景下对算法的原子性等要求,以及进化策略算法的并行性特点,取消了工作节点间交换内容中的扰动参数,由各工作节点借助共享的随机因子生成扰动参数。在不影响训练效果的情况下,通过削减网络通信开销达到了加速训练任务的目的。最后,对ES-RPRS算法在超参数搜索方面的应用效果进行了测试与验证。