强化学习在解决现实场景中的复杂问题中已经取得了巨大的成功,例如在围棋、机器人和游戏领域。然而,这些成功却必须依赖于这些场景中存在的完美模拟环境,强化学习算法通过和环境的交互不断试错,从而学习出最优的策略。然而,在一些更复杂严苛的现实场景,例如复杂工业系统控制,仅仅存在着历史数据而并不存在着完美的模拟环境。传统的在线强化学习算法会由于优化策略和行为策略分布不一致而产生分布漂移得现象,导致其无法仅从离线历史数据中进行学习,这一弊端严重制约了强化学习在现实场景中更进一步的应用。对此,离线强化学习提出了一个解决方案,其目标就是如何设计有效的算法,从给定的离线历史数据中学习出最优的策略。现有的离线强化学习可以分为无模型和有模型两类,无模型的离线强化学习算法通过约束行为策略和优化策略的距离,使得优化策略尽可能地接近行为策略,从而避免了由于分布漂移带来的问题;有模型的离线强化学习算法通过惩罚模拟样本的奖励值,构建保守的马尔科夫决策过程,从而学习出一个输出数据分布内动作的优化策略。然而,现有的离线强化学习算法面临着诸多问题,无模型的离线强化学习算法所使用的严格分布限制会导致优化策略和行为策略过于接近,导致次优的结果;有模型的离线强化学习算法所使用的奖励惩罚函数的选择仍不够完美,对于某些预测较为准确但在数据分布外的样本会有较大的惩罚,也在一定程度是限制了优化策略的寻优能力。除此之外,现有的所有离线强化学习算法均未对现实场景会出现的一些挑战进行考虑,例如如何满足安全约束、如何针对高维随机动态系统进行建模等。导致其无法应用于工业控制等现实场景中。本文针对上述问题,提出相应的改进方案。针对无模型的离线强化学习,本文提出了软行为约束Q学习算法SBQ,SBQ使用更宽松的行为策略分布约束,避免了过分保守的策略优化。本文还衍生出SBQ的一个变体SBQ-D,可以在不预估行为模型的基础上学习,避免了当状态动作维度较大或者数据集质量较低时难以准确预估行为模型的问题。针对有模型的离线强化学习,本文提出了改进的有模型离线强化学习算法MORE,MORE使用限制性探索和混合训练的方式,从模型和数据两个角度衡量模拟样本的不确定度,同时引入了正样本,利用了模型的泛化性能,使得优化策略取得了更好的性能。本文在离线强化学习基准数据集上进行实验,结果表明本文提出的算法取得了优于其他所有算法的表现。本文还将SBQ算法和MORE算法实际应用在了火电燃烧系统优化这一复杂工业控制场景。我们根据工业控制场景中的额外安全约束需求加入了约束网络,我们在SBQ中使用具有高表现力的自回归动态模型,用来从传感器收集的带有噪声的部分观测数据中构建出精确的行为模型。我们还利用火电行业知识构建了火电燃烧过程模拟器,应用在MORE框架中,使其拥有更精准的预测能力。我们在国内两家真实电厂中进行实际上机实验,结果表明,我们提出的算法成功提升火电机组燃烧效率,降低污染物排放量。