现实世界的一些生产加工企业中，存在一类由生产加工站作为加工主体的生产线，称为传送带给料加工站（Conveyor-Serviced Production Station，简称CSPS），它是一种在工业生产自动化基础上产生的，用于实现生产自动化的抽象模型。研究CSPS系统的最优控制问题，通过合理选择站点的前视（look-ahead）控制策略，实现系统的长远期望代价最优，生产流失率最少，提高产品的产量、降低能耗具有重要的现实意义。CSPS系统的前视控制通常是根据系统缓冲库的空余量进行决策，但是系统通过卸载或加工一个工件会导致相同的缓冲库的空余量，因此，本文给出了自然事件的划分。另外，CSPS系统的缓冲库以某个阈值作为划分，可以对缓冲库的状态聚类，本文提出了状态聚类事件。论文介绍了CSPS系统基于自然事件驱动和基于状态聚类事件驱动的优化控制。在基于自然事件驱动的优化控制中，论文将CSPS系统的同一状态划分为不同的事件来处理，增加系统的学习精度，取得较好的优化效果；在基于状态聚类事件的优化控制中，论文将CSPS系统的状态映射为全满事件、半满事件、半空事件和全空事件，从而减少了事件空间，有效的提高了系统学习效率。最后，论文针对两种事件驱动的CSPS系统提出了基于事件优化的统一Q学习算法和在线策略迭代算法。CSPS系统以往的研究虽然设置成品库，但视其为无穷大，这与现实系统有所差异，因此，本文提出基于需求驱动的CSPS系统的设计与优化控制问题。在基于需求驱动的CSPS系统中，我们视成品库的容量为有限，通过理论求解设计基于需求驱动的CSPS系统缓冲库和成品库的容量。本文最后结合模拟退火思想提出CSPS系统基于模拟退火下需求驱动的Q学习算法。