近几年,得益于深度学习的发展和Alpha Go与人类对弈的胜利,深度强化学习受到了学术界和工业界的普遍关注。越来越多先进的强化学习算法被提出,同时,深度强化学习在游戏、机器人和智能驾驶等方面得到了广泛的应用。目前,深度强化学习在工业生产中的应用较少,特别是在运行指标优化决策问题上。运行指标优化决策方法的研究对实现在变化的复杂环境下的生产全流程优化具有重要意义。运行指标优化决策问题就是根据生产环境的工况条件,协调各个生产单元的运行指标,从而优化生产全流程产品的质量和产量。该问题涉及大量的理化反应,难以建立可用的机理模型,而且该优化问题存在复杂的非线性和较强的耦合性,同时,生产环境的变化也存在不规律的现象。针对这一问题,学术界和工业界提出了许多方法,但这些方法通常需要在数据模型中进行求解,其求解的优化精度受建模精度的影响极大,因此,在实际生产中运行指标优化决策主要由工艺工程师根据经验和工艺知识得到可行解。针对上述问题,依托国家自然科学基金项目“数据驱动的复杂工业系统运行优化控制及应用（61525302）”,开展流程工业运行指标优化决策研究,提出了基于深度强化学习（Deep Reinforcement Learning,DRL）的在线自学习运行指标优化决策方法,能够根据工况条件的变化,动态地协调各个生产单元的运行指标。主要工作如下:（1）分析了流程工业运行指标优化决策问题并给出了其数学描述,建立了基于强化学习的全流程运行指标优化决策的框架。通过对流程工业生产全流程运行指标优化决策问题进行详细分析,结合强化学习结构建立了问题的强化学习模型。提出了该问题在强化学习框架并明确了其状态、动作和奖励值的设计。（2）针对流程工业运行指标优化决策问题的高维连续的特征,设计了一种基于Actor-Critic的运行指标优化算法。该算法引入经验回放池,通过经验回放池存储算法交互的大量经验数据,学习和更新过程从经验回放池中随机抽取一批经验数据,避免频繁与工业过程在线交互采样。将所提出的基于Actor-Critic的运行指标优化算法应用到选矿这一典型的流程工业,与人工决策和一种经典的强化学习算法（REINFORCE）进行对比实验研究,结果表明所提出的算法学习过程更短、收敛速度更快、试错次数更少,同时该算法能够保证产品品位合格的基础上有更高的产量。（3）针对强化学习中作为策略函数逼近器的神经网络训练易陷入局部最优的问题,提出了一种基于多动作网络集成的运行指标优化算法。该算法随机初始化多个动作网络（即Actor网络）,同时在训练过程中每个动作网络分别从经验回放池中抽取一批不同的数据进行训练。多个动作网络将陷入不同的局部最优策略,通过评价网络（即Critic网络）来评价不同动作网络的动作,从而做出最终决策。结合选矿过程运行指标决策问题,将所提出的算法与第三章提出的基于Actor-Critic的运行指标优化算法进行对比实验研究,结果表明所提出的算法一定程度上克服了动作网络容易陷入局部最优的问题,提高了算法性能。