强化学习是机器学习的重要方法论之一,其在智能体与环境之间的交互过程中通过学习值函数或者策略达到回报最大化以实现特定目标。强化学习已经在机器人、围棋、游戏智能等各个方面得到广泛应用。但是在强化学习算法中,也存在诸多问题,比如奖励函数的设计困难、训练效率低下以及训练过程稳定性不高等。本文从奖励函数出发,基于奖励塑形开展相关研究,针对现阶段强化学习算法中存在训练效率低下以及稳定性不高的问题,提出了一个基于奖励塑形驱动的理论优化框架。该框架能够在原有奖励函数的基础上进行塑形,使得塑形过后的奖励函数在后续的强化学习算法中实现同时兼顾训练效率以及训练稳定性,以期能够从理论与实践上引导与优化强化学习的训练过程,从而显著提高其训练效率与稳定性。本文研究内容的主要贡献如下:针对奖励塑形中势能函数难以选择与确定的问题,本文提出了一种基于李亚普洛夫稳定性分析的奖励塑形方法,将强化学习的理论框架转换为控制优化问题,从李亚普洛夫稳定性分析角度出发,推导出具有理论保障的势能函数的确定方法,从而提高强化学习的学习效率,加快训练过程。同时本文也通过随机逼近理论给出了所提方法的收敛性证明。进一步,本文也在3个离散动作环境以及3个连续动作环境中验证了所提方法能够大幅度提高训练效率。针对强化学习训练过程中频繁出现的奖励震荡的问题,本文通过研究奖励轨迹的统计属性,提出了一种基于奖励轨迹方差减少的奖励平滑塑形方法,从理论上降低奖励轨迹的方差并且通过随机逼近理论推导出其理论性保障,从而提高强化学习的训练稳定性,显著提高其可应用性。同时本文也在3种算法以及4个连续控制任务的标准集上验证了所提方法能够提高训练稳定性。为了同时兼顾强化学习算法的训练效率以及训练稳定性,本文提出了一种基于期望最大化的奖励塑形融合方法,通过期望最大化算法辨识隐变量的方式辨识出最优的超参数组合,降低调参成本。该方法采用奖励融合的方式,实现强化学习训练过程中学习效率性与稳定性之间的兼顾,从而实现对强化学习训练过程的优化。本文在多个标准集上验证了所提出的优化体系能够显著提升其训练效果,并且计算复杂度仅为网格化搜索方法的2%。为了验证所提方法的实际应用有效性,本文构建了一个8自由度机械灵巧手操作软硬件平台,并搭建了仿真环境。基于所提出的奖励塑形理论优化框架,开展8自由度机械手灵巧操作的研究。通过在仿真环境Pybullet中构建训练体系,使用域随机化的方式将仿真环境中训练的策略迁移到真实机械灵巧手操作中,实现机械灵巧手阀门连续转动任务。该实际落地应用很好地验证了所提出的框架的有效性以及其对于强化学习规模化落地应用的重要示范意义。本文在总结中对全文进行了归纳,阐明了所提出的理论框架能够在原有奖励函数的基础上进行塑形,使得塑形过后的奖励函数在后续的强化学习算法中实现同时兼顾训练效率以及训练稳定性,从而大幅度提高了强化学习算法的实用性与可适用性。同时本文对如何深入挖掘和剖析奖励函数对于强化学习算法的影响和作用进行了展望,从而建立更加通用的理论框架。