离线深度强化学习算法将传统深度强化学习与离线学习两者相结合,是目前强化学习领域的研究热点之一。离线算法从一系列任务交互所得到的离线数据集中进行学习,该特点在机器人技术以及自动驾驶技术等领域有着极高应用价值。由于离线数据集样本通常无法包含所有的状态动作对,导致离线算法不可避免地出现动作值高估、模型偏差以及效果不稳定等情况。针对以上问题,本文主要做了以下三个方面工作:（1）权重自适应截断Q值方法。在类离线行动者-评论家算法的学习过程中,由于离线学习自身不与环境进行直接交互的特点,算法会错误地高估离线数据样本中未出现的状态动作值,针对以上问题,为了进一步缓解高估问题,提出基于权重自适应截断式约束深度Q学习算法。该算法将单值网络改为多值网络,并且计算策略当前选择的动作与训练得到的动作分布之间距离权重,根据权重截断导致高估的值原子。该算法通过控制高估的方法,实验证明在多种连续控制任务中表现优异。（2）元学习方法。截断误差的离线算法存在着训练数据分布不全的问题,以至于训练过程中缺失必要状态动作对,导致实验训练的结果不稳定,算法相当依赖离线数据集的分布情况,针对这个问题提出一种基于元学习方法的离线深度强化学习算法,该算法通过元学习方法构建一个初始网络参数,通过截断策略网络模型的误差,提高网络自适应能力与学习能力。算法从各种不同数据集中学习出的效果表现稳定,在连续控制任务中进行实验验证,结果表明该算法拥有更好的鲁棒性。（3）历史动作分类选择回放方法。离线算法的主流优化方法是通过网络模型限制动作选择,以此来控制行为策略分布和目标策略分布之间的距离,通过该方法截断误差的产生,也称为控制外推误差的产生,受此方法启发,从控制离线数据集的采样过程角度出发,提出一种历史动作分类选择回放的深度离线强化学习算法。该算法通过改进离线算法中传统经验回放方法来提升性能。将离线数据集分为历史动作优先数据集与原数据集两部分,训练过程充分平衡探索-利用之间的关系,从经验回放的角度截断误差产生。很好地弥补了离线深度强化算法在经验选择中随机盲目的特性,使算法获得了可比较的训练效果,为离线算法的优化提供新思路。以上三方面工作都是在离线强化学习的基础上,围绕离线学习中出现动作值高估、模型偏差等问题,从不同的角度对误差进行截断控制,并且都能达到较好地实验效果。