为了优化交叉口信号配时,本文通过建立Excel Vba-Vissim-Matlab集成仿真平台,建立了以总关键排队长度之差最小为优化目标的单交叉口在线Q学习模型。在线模型分为定周期Q学习配时模型、不定周期Q学习配时模型。针对控制性能指标相对于临近的配时方案不敏感的特点,提出了以平均总关键排队长度之差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性。定周期两相位Q学习模型算例表明Q学习模型的正确性,能够随着流量变化动态优化,而且利用经验可以缩短学习时间。通过对猴子石大桥交通状况的模拟测试,表明模型具有很好的实际应用能力。通过定周期Q学习配时方案、不定周期Q学习配时方案与Transyt配时方案的对比,结果表明以总关键排队长度之差作为优化目标能够优化整个交叉口的时空资源,本论文建立的在线Q学习模型具有较高的准确性、鲁棒性和学习能力,通过学习能够实现优化目标。同时还探讨了流量变化情况下定周期、不定周期Q学习配时模型的性能。