污水处理工艺繁多,如何实现出水稳定达标是所有污水处理系统的共性难题。究其原因在于污水进水水量与水质波动大、污水处理生化过程复杂、目前在线水质检测技术水平有限以及对人为干预的过分依赖。针对上述问题,污水处理研究人员构建了专家系统、机理模型与数据驱动模型以期支持污水处理厂的故障诊断、实时控制与性能提升进而实现系统稳定高效运行。但是,上述模型的有效应用离不开对受控工艺的深刻理解或检测数据的长期积累。针对该限制,本文构建Deep Q-Network(DQN)强化学习模型以期实现污水处理的自适应控制,即无需理解工艺原理及积累大量人为标记的训练样本即可完成对污水处理过程的稳定控制。考虑到系统进水水量、水质波动也会对实际污水处理系统状态产生重要影响,又在DQN前端辅之GRU(Gated Recurrent Unit)循环神经网络模型以期对污水进水负荷的准确预测进而降低进水扰动对自适应控制的影响,主要研究结果如下:(1)基于 Python 语言搭建了 BSM1(Benchmark Simulation Model NO.1)基准仿真平台。通过Python语言将活性污泥1号机理模型(Activated Sludge Model No.1,ASM1)中的生化反应过程、模型变量、计量学参数、动力学参数与BSM1基准仿真平台内的生化池、沉淀池模型内部的物料守恒关系汇编成可运行的脚本程序,完成BSM1基准仿真平台的搭建,为后续DQN强化学习模型的仿真实验提供基础条件,亦为其他相关研究人员提供便捷。(2)构建了 GRU循环神经网络模型,实现对污水进水水量与负荷的准确预测。通过第三方模块Keras设计并训练GRU循环神经网络,将其与传统时间序列分析方法在BSM1基准仿真平台进水及某垃圾填埋场渗滤液产量预测上进行比较。结果表明,相比传统时序分析模型,GRU循环神经网络因其非线性拟合与长时记忆能力表现出更为优异的预测性能,可实现对BSM1进水水量与负荷(TSS、凯氏氮、COD浓度、流量与温度五项指标中最低R2亦高达0.87)与填埋场渗滤液产量(R~2=0.83)的准确预测。(3)构建了 DQN强化学习模型,初步探究了该模型应用于污水处理自适应控制的可行性。针对活性污泥处理法,DQN强化学习模型依靠与污水处理系统之间的交互逐渐习得控制动作与污水处理系统状态变化的逻辑关系,最终掌握对好氧池溶解氧与系统回流流量的控制,实现系统稳定运行与出水达标排放。BSM1基准仿真平台仿真实验中,该模型在进行为期约150天的学习之后,可通过控制好氧池溶解氧设置点与内回流流量两项参数实现出水氨氮、总氮及COD浓度稳定达标。相较于固定参数的控制方法,该模型控制下BSM1内4号生化池溶解氧平均浓度减降低33%,内回流流量降低32%,出水氨氮平均浓度更低且更稳定。在对畜禽养殖废水SFAO~4微氧曝气处理工艺小试反应器的自适应控制研究中,该模型在进行为期约80天的学习之后可提供可靠的控制参数以指导对SFAO~4微氧曝气处理工艺中微氧池溶解氧浓度设置点与系统外回流流量的控制。该模型指导下,反应器基本实现稳定运行,运行期间出水COD浓度<250mg/L,氨氮浓度<40mg/L,总氮浓度<80mg/L。