相比于在平坦地面具有更好运动效果的轮式和履带式机器人，腿足式机器人能够适应更复杂的地形，进行更灵活的姿态控制，有效跨过或躲避障碍物，能够应用到复杂环境的探索、搜救、运输等多方面领域中。四足机器人凭借相对简单的结构、灵活的运动效果、出色的稳定性能和优秀的动态能力等优势，从腿足式机器人中脱颖而出。
　　传统的四足机器人控制方法一般会采用模块化控制器，但模块化控制器设计难度较大，并且需要耗费大量时间进行参数调试。而基于数据驱动的强化学习能够自主进行学习优化，以实现最优的控制效果，可以有效解决模块化控制器的难点。为了使四足机器人获得更加高效、优越的运动性能，本文将强化学习引入四足机器人控制中，本文的主要研究内容如下:
　　1.四足机器人仿真建模及运动学分析。在开源仿真软件PyBullet中构建四足机器人虚拟仿真模型。采用D-H法进行机器人正运动学和逆运动学分析，为四足机器人步态规划和运动控制奠定了基础。
　　2.强化学习控制器设计。进行状态空间、动作空间和奖励函数的设计，并针对不同的强化学习算法，构建相应的强化学习控制器。在奖励函数计算过程中加入模糊控制系统，获得奖励值与四足机器人前向速度的变化关系函数，提高算法的学习效果。
　　3.基于强化学习控制器的对角小跑步态分析。融合参考轨迹与强化学习动作空间，进行运动轨迹规划。分别采用PPO、A2C、DDPG三种深度强化学习算法对四足机器人进行运动训练，实现了稳定的对角小跑步态运动。从运动稳定性、强化学习优化目标和能耗情况等方面对三种学习算法进行分析比较，DDPG算法可以使机器人获得更好的运动效果。仿真实验表明，强化学习控制器能够获得稳定的对角小跑步态运动，可应用于四足机器人运动控制。