深度强化学习作为机器学习的范式和方法论之一,在许多领域取得了成功,其目标是生成最大化期望累计收益的策略.然而,在安全攸关的领域,生成的策略除了实现最大化收益的最优性目标,还需要保证其满足安全性.关于这一类问题的研究称为安全深度强化学习,其常用的一种框架是将安全性要求表示为约束条件的约束马尔可夫决策过程,可借助传统的约束优化方法来求解.然而,现有的基于约束优化的安全深度强化学习算法存在计算成本高,拉格朗日乘子学习率难以选择,容易收敛到不安全的鞍点以及初始值需在安全域内等不足.传统的约束优化方法中有一类方法克服了上述缺点——增广拉格朗日函数法.因此,本文针对绝对安全和相对安全两种场景,构建了等式约束和不等式约束,基于增广拉格朗日函数法设计实现了两类新型安全深度强化学习算法,并将其应用到工业油泵控制案例中.此外,为了进一步生成更安全的策略,本文对稀疏损耗进行了研究.概括来讲,本文主要研究内容,成果和创新点如下:（1）基于等式约束型增广拉格朗日函数法的安全强化学习算法研究.针对安全攸关领域极其严格安全性要求,本文将其建模为约束为等式0的约束马尔科夫决策过程.为了求解该模型,本文结合等式约束型增广拉格朗日函数法和深度强化学习算法DDPG,设计实现了新型等式约束型安全深度强化学习算法——DDPG-ALM算法.在通用平台（Safety Gym仿真环境）上的实验表明,所提DDPG-ALM算法在最优性上获得较好的收益,在安全性上超越了现有的安全深度强化学习基准算法.（2）基于不等式约束型增广拉格朗日函数法的安全强化学习算法研究.针对安全要求较为宽松的领域,安全约束要求为低于某个阈值,本文将其建模为约束为不等式的约束马尔科夫决策过程.为了求解该模型,本文结合不等式约束型增广拉格朗日函数法和深度强化学习算法PPO,提出了新型安全深度强化学习算法——PPO-ALM算法.在Safety Gym仿真环境对比实验表明,相比于现有基准算法,PPO-ALM算法能够满足不同的安全约束,更好地保证安全性,更好地平衡最优性和安全性.（3）稀疏损耗研究.本文在通用平台实验DDPG-ALM算法及其他基准算法时,遭遇了稀疏损耗.本文分析,稀疏损耗导致状态-动作损耗网络对状态-动作损耗函数逼近的误差大,进而导致无法生成绝对安全的策略.为了更好地逼近状态-动作损耗函数,生成更安全的策略,本文首先基于收益重塑和状态聚集提出了状态重塑的概念,减少了状态-动作损耗函数的解空间,使其更加容易逼近;其次,基于双缓存池和优先经验回放提出了安全优先经验回放,增加了采样安全相关经验的概率,使状态-动作损耗网络逼近得更好.在Safety Gym仿真环境的对比实验表明,状态重塑极大改善了生成策略的安全性和最优性;安全优先经验回放在损失少量收益的前提下,进一步提高了生成策略的安全性.（4）工业油泵案例的应用研究.首先,本文对工业油泵案例进行了深入研究,建立了该案例的约束马尔可夫决策过程模型,搭建了油泵仿真环境;随后,通过精心设计输出层结构和激活函数,构建了神经网络形式的油泵控制器,使得油泵开关时间的线性不等式约束得到满足;最后,在油泵仿真环境使用提出的DDPG-ALM算法以生成安全最优控制器.对比实验表明,DDPG-ALM算法生成的控制器在安全性和最优性上均超越了现有同类基准算法,在最优性方面接近于理论最优控制器.本文研究成果对于传统约束优化方法与安全强化学习相结合具有重要借鉴意义,所提方法有望推广至更多的安全智能控制应用场景.