随着自动驾驶和人工智能技术的发展,无人物流车队在城市区域内的配送货物发挥了越来越重要的作用。针对传统算法在求解城市末端区域内无人物流车队配送中面临的时效性差,往往陷入次优解,配送规模扩大时间成本指数增加等亟待解决的问题,本文提出了一种改进的基于注意力机制和深度强化学习算法的方法,并将其应用于带时间窗的无人物流车队的配送路径规划问题和考虑区域拥堵的带时间窗的无人物流车队的配送路径规划问题。本研究面向城市“最后一公里”无人物流车队配送路径规划问题,以带时间窗的无人物流车队配送路径和考虑区域拥堵的带时间窗的无人物流车队配送路径成本最优化,用车数量成本最小化为目标,从人工智能的方向挖掘对城市区域物流车队配送问题的求解方法。通过遵守软时间窗约束和配送车容量约束,满足配送客户随机需求,完成对无人物流车队的配送路线规划。模型代表了一个参数化的策略和一个参数化的价值评判网络,应用强化学习算法基于序列奖励通过回合更新方式来训练优化模型。本文主要工作如下:（1）提出了一种改进的基于深度强化学习算法的注意力机制模型。该模型基于端到端的思想,一端是将带时间窗的物流车队路径问题输入训练好的模型中,另一端可以快速有效率的给出整个车队路线调度。通过设计深度神经网络模型,搭建强化学习状态信息融合模块、注意力机制模块和递归神经网络模块作为策略网络,搭建价值网络,设计奖励函数、状态转移函数、屏蔽函数,构建强化学习算法并应用该算法训练模型。（2）将搭建的基于深度强化学习算法的注意力机制模型应用于城市末端区域内无人物流车队配送的路径规划问题,重点研究了带软时间窗的无人配送车队在城市末端区域内的配送路径问题。为了提高模型收敛速度、求解效率、求解质量,本文通过对奖励函数不断调整改进,在奖励函数中加入相应惩罚;改进顾客节点屏蔽方案;优化强化学习状态转移函数等主要三个方面优化改进模型。（3）在上述研究的基础上,将区域拥堵因素加入带时间窗的无人配送车队配送路径问题,将基于深度强化学习算法的注意力机制模型应用于考虑区域拥堵的无人物流车队配送路径规划问题。通过对模型进一步修改和改进,增加模型对拥堵区域信息（拥堵半径,拥堵中心,拥堵强度）的信息处理,将其作为深度强化学习的状态考虑因素。数值实验表明,模型能够快速解决不同顾客节点规模的带时间窗车辆路径问题,特别是在顾客节点配送规模扩大时能够高效地给出良好的车队规划路线;在小规模问题的求解方面模型在采用贪婪解码策略时和遗传算法的解相差不大,但对于顾客规模扩大时本文模型表现相对较好,在路径成本和用车数量成本方面要优于遗传算法;通过对比顾客节点两种解码策略,分析发现训练阶段顾客节点采用随机解码策略,使得模型尝试探索更多解空间,有效避免陷入局部最优,测试阶段采用贪婪解码方式,可有效提高模型在车队总路径成本,车队数量规模,时间效率等方面的效果。此外,基于深度强化学习算法的改进模型能够快速高效率处理城市区域拥堵的无人车队配送路径规划问题。