在资源竞争日益加剧的今天,合理充分利用有限或者稀缺资源创造出最大的社会价值,迫在眉睫。二十一世纪,调度优化问题受到广大研究学者的青睐,如何量化资源产生的社会价值,最大化资源利用价值,成为亟待解决的问题。集装箱调度优化问题则是此类问题的典型代表之一。强化学习的方法则很好的解决了此类问题。强化学习是指智能体和外界环境不断交互,通过不断试错的行为来迭代、优化的方法,它有效的解决了资源调度优化问题中的长期依赖的问题,达到长期目标最优的效果。本文主要研究工作分为以下几个方面:(1)针对集装箱调度优化问题的实际背景,实现了对集装箱调度问题的建模,主要结构分为目的地选择模块、特征构建模块、奖励设计模块、智能体控制模块等,通过强化学习建模的手段完成建模;(2)针对港口之间的空间拓扑连接关系这一先验知识,提出了一种基于图注意力机制的深度双Q学习模型A-DDQN(Attention based Deep Double Q Learning)。该模型使用的图注意力机制,最大限度的利用邻居港口的特征,使得模型学习的结果更加稳定可靠;(3)针对深度神经网络可解释性差的问题,提出了一种基于决策树模型的双Q学习模型L-DQN(LightGBM based Double Q Learning)。该模型借助于集成学习优异的拟合能力,可以很好的完成对特征的重要性分析,与此同时,具有更强的拟合能力;(4)针对强化学习模型动作探索阶段不稳定的问题,提出了一种基于参数噪声的深度确定性策略梯度模型PN-DDPG(Parameter Noise based Deep Deterministic Policy Gradient);该模型使用自调节噪声参数的机制,使得动作探索更加稳定。将论文所提的三种改进模型应用到集装箱调度优化问题的求解中,实验结果验证了所提模型在两种评估指标上的有效性和优越性,通过自我学习,达到甚至超过了人工决策水平。