近年来,随着自动化设备、人工智能算法等技术的不断发展,自动化集装箱码头已成为未来集装箱码头的发展趋势,在集装箱码头智能化进程中占重要地位。其中考虑到自动化集装箱堆场不仅具有传统集装箱堆场的任务量庞大、作业资源种类和数量繁多、三维放置导致的操作困难、任务动态性强等特点,还具备自动化设备导致的时间要求高以及垂直岸边导致的两端交互、场桥接力等特点,堆场已成为自动化集装箱码头作业效率提升的瓶颈,急需探索更合理的作业计划和调度策略。然而传统方法如精确求解、启发式规则、智能算法等均存在运算时间长或求解精度不足的问题,难以在实际场景中使用。因此本文以自动化集装箱堆场为研究对象,基于较为新颖的强化学习方法深入研究对应的作业计划和调度策略,对集装箱码头的智能化进程具备重要意义。本文的研究来源于洋山四期自动化集装箱码头堆场,主要研究内容包括:（1）建立了自动化集装箱堆场优化问题的模型。本文详细分析了堆场优化问题具备的大规模、大量的复杂特性与约束、复杂的时空耦合特性以及强动态四大特性,将问题分解为箱位分配和场桥调度两个递进的子问题,确立了问题假设、优化目标和各项约束并构建了自动化集装箱堆场优化问题的数学模型。（2）提出了针对箱位分配的基于强化学习的超启发式算法。算法包括低层启发式算子和高层目标决策两个层面的内容,通过对求解方案的不断改进获取较好的解。在低层启发式算子中引入具备不同特点的局部搜索算子、全局搜索算子以及智能算法算子。在高层目标决策中提出了基于策略的强化学习算法智能选取合适的低层启发式算子,最终实现算法性能的提升。（3）研究了基于深度强化学习的场桥调度问题优化算法。算法基于序列到序列的框架采用合理的智能体定义和智能体与环境的交互方式求得较优的方案。在智能体定义中,基于任务不同种类的操作、考虑场桥冲突和车辆到达时间的可行性判断以及评价指标定义了智能体的状态、动作和回报。在交互方式中,基于模拟和启发式规则开发了环境与状态的更新方法,并设计了基于注意力机制的策略梯度计算方式和训练方法,从而实现在较短计算时间的基础上的算法性能提升。同时,通过实际的历史数据及根据其数据规律设计的算例对本文提出的模型和算法进行了验证。与常规方法、文献中提出的改进算法以及实际采用的启发式算法相比,本文提出的基于强化学习的算法能够有效提高作业效率并减少车辆的等待时间。最后,以洋山四期自动化集装箱堆场为背景,本文开发了一套自动化集装箱堆场仿真验证系统。基于调研得到的实际需求,完成了系统的总体设计、功能模块设计以及流程设计,为满足自动化集装箱堆场提高整体工作效率的需求提供了有效的工具和平台。