近年来,随着我国城市规模的扩大和污水治理的不断细化,小型污水处理厂的数量也在逐渐增加,但这些污水厂大多存在工艺不稳定和管理质量偏低的问题,需要一种有效的智能化管理方法,使污水厂在面对少人值守和复杂多变的进水水量和水质的条件下仍然能保持稳定运行。本研究基于ASM3（Activated Sludge Model No.3）模型,修正了原始模型结构、校准了模型参数、建立了混合模型和CAST（Cyclic Activated Sludge Technology）工艺仿真平台,并在此基础上初步探究了强化学习技术应用于CAST工艺在线优化和自适应调控的可行性。对ASM3模型进行扩展,加入了同步利用储存扩展和微生物状态过渡扩展。根据CAST工艺的特性建立了CAST工艺仿真平台,描述了CAST工艺生物选择池和生化反应池的物料平衡关系,实现了对CAST工艺不同反应阶段的模拟,以及对流量、反应周期长度、曝气强度、污泥回流和剩余污泥排除的控制。搭建了序批式呼吸实验小试装置,使用Morris筛选法对模型参数的灵敏度进行排序,通过结合呼吸实验法和数据拟合法对模型的部分参数进行校准。结果表明相比于于校准前,校准后的模型对出水COD浓度的平均绝对误差百分比从62.2%降低至53.7%,对出水总氮浓度的平均绝对误差百分比从48.0%降低至29.2%。通过使用BP神经网络建立了进水有机物组分预测模型和误差补偿模型,分别用于为修正ASM3模型提供进水有机物组分比例预测数据,和补偿模型预测的误差,结合修正ASM3模型、误差补偿模型和进水有机物组分预测模型建立了串并混合式混合模型。结果表明混合模型对出水COD的和出水总氮浓度的预测平均绝对误差百分比分别为21.8%和14.7%,能够显著改善机理模型对出水COD的和出水总氮浓度的预测效果。以混合模型和CAST工艺仿真平台为基础,通过建立简化的CAST工艺仿真环境,为DQN（Deep-Q Learning）强化学习模型设定了满足出水水质排放标准、提高污水处理率、优化碳源投加量三个控制目标,并为曝气强度、曝气阶段周期长度、沉淀阶段周期长度和碳源投加量共4个控制参数建立了动作空间,根据控制目标设置了相应的奖励函数,以探究强化学习模型应用于污水处理工艺在线优化的可行性。结果表明在度过初始阶段的随机探索期后,DQN模型控制策略能够使出水COD和总氮浓度满足一级B排放标准,相比于固定参数控制方法,总处理水量提升了约14.5%,平均处理单位水量的碳源消耗降低了约5.7%。DQN强化学习模型适应未知环境的表现初步表明了强化学习技术应用于CAST工艺在线优化的可行性。