路径规划问题是智能机器人领域的研究热点之一,传统的路径规划算法存在环境感知能力差、求解速度慢和算法实时性差等缺点。随着深度学习技术的发展,基于强化学习的路径规划算法在许多领域得到了广泛的应用。该类算法结构简单,求解速度快,但也存在训练速度慢,易收敛于局部最优和训练不稳定等问题。本文针对强化学习路径规划算法的这些问题,结合基于势能的奖励函数改造方法和动态环境特征,进行了如下几个方面的研究:首先,提出基于势能奖励函数的竞争双Q网络路径规划算法。通过改进奖励函数,解决朴素竞争双Q网络路径规划算法所遇到的奖励稀疏问题。改进奖励函数根据与终点的距离,为地图上每个栅格块赋予引力势能值,通过该势能值为智能体在训练过程中提供即时奖励,降低智能体的学习难度,提高智能体寻路性能。通过仿真实验,讨论算法的奖励收敛曲线、碰撞率和平均路径长度等指标,验证算法的有效性。其次,设计基于分拣系统环境的动态模拟环境,根据动态环境特点,提出基于势能奖励函数的动态竞争双Q网络路径规划算法。设计动态奖励地图,结合动态障碍物运动方向不可预测且运动速度较低的特点,设置动态障碍物一步可达的位置为危险区,并将动态奖励地图作为输入的一部分,为智能体在路径规划时提供更多的信息,从而实现机器人在动态环境下逐时间步地动态规划路径。通过仿真实验,在三种不同的环境下,讨论算法的奖励收敛曲线、与动态障碍物碰撞次数、与静态障碍物碰撞率和平均路径长度等指标,验证算法在动态环境下的有效性。最后,总结了本文的不足之处,并提出了未来的改进方向。