强化学习是神经网络技术研究与应用的一个重要领域。强化学习算法主要被用于序列决策和智能体控制任务。在机器人控制、游戏AI和围棋等许多领域中,强化学习都得到了成功的应用。强化学习中的环境奖励对模型的训练起着关键的作用。然而,在很多运行环境中,算法经常会遇到奖励过于稀疏的问题。缺乏有意义的奖励信息会使模型难以高效地寻找到最优策略,这限制了部分场景中强化学习算法的实际应用。因此,研究稀疏奖励问题和其解决办法,对强化学习算法的应用具有重要作用。本文从稀疏奖励问题的产生原因开始,分析了为解决稀疏奖励问题而衍生出来的一系列强化学习算法。在不引入人类产生的专家数据的前提下,缓解稀疏奖励问题的主要思路是鼓励模型探索、从失败经验中学习和任务分解。从这些思路出发,本文做了如下研究工作:首先,提出了基于动作序列交叉熵的强化学习算法。该方法将连续动作间的惯性加入强化学习算法设计的考虑之中,使用动作序列间的交叉熵来控制智能体的动作,以增加智能体动作的平滑程度,减少智能体的无规则运动,使其更接近正常的运动体态。在控制人型仿真机器人的实验中,本文验证了该方法在降低智能体抖动现象,鼓励智能体探索动作空间等方面的作用。接着,提出了分层强化学习中的离线数据序列重构算法。该算法使用一种自下而上的方式对分层模型的离线数据进行替换和重构。在控制四足机器人的仿真实验中,本文验证了该算法在缓解分层强化中的离线误差问题、补充上层模型的离线数据量和减少对训练资源的消耗等方面的作用。最后,提出了分层动作惯性算法。该算法旨在缓解强化学习中的稀疏奖励问题。还提出了对分层动作惯性算法进行网络复用的方法,以加快算法的分层结构的训练速度,减少网络参数量。通过实验,本文验证了算法处理稀疏奖励问题的能力,也验证了对算法进行网络复用的效果。