本文主要考虑的问题是协作机械臂在控制过程中如何有效、灵活的进行人机协作并完成避障,因其特点,本文主要考虑的协作机械臂工作场景为协作小型货物搬运、辅助工具拾取和装配器件辅助拾取等,其具有需求精度低、灵活度高等特点。本文的目标是通过在仿真环境下的训练得到深度强化学习模型,用其代替协作机械臂控制算法的决策避障功能,取机械臂的末端位置动作为强化学习智能体的动作,取机械臂的人机交互物理信息为强化学习的环境状态信息,根据环境状态信息构造了强化学习的反馈建立函数,通过构建的强化学习模型以提高机械臂的工作效率和安全性。本文的主要研究内容及贡献如下:第一,从改善机械臂的训练效率的角度出发,在DDPG+HER模型基础上改进,设计一种基于嵌套模型的深度强化学习算法模型,其剥离了机械臂的逆向运动学模型,加快避障模型的训练速度并在最终实验中相比无嵌套模型有更好的表现。第二,考虑绕开障碍物的方法,设计了动态目标机制。当在机械臂末端执行器周围检测到障碍物时,该机制将扩大目标搜索范围,搜索轨迹附近的点作为目标点从而绕开障碍物。第三,从实际应用角度出发,搭建基于Kinct V2的仿真测试平台,导入真实人体运动信息,测试并证明本文算法的有效性。本论文使用深度强化学习算法及其相应的改进算法完成了协作机械臂在人机交互过程中的避障仿真对比实验,结果表明,（1）当操作人员（障碍物）远离机械臂时,则使得机械臂按参考轨迹运动;（2）当操作人员靠近机械臂时,基于RRT*算法的表现相比于基于深度强化学习模型的机械臂的表现差。接着,本文为了分析改进方法的重要性,设计了相关的消融实验,分析了嵌套模型与动态目标机制对于本文实验的重要性程度,结果表明,动态目标机制的改进可有效地使协作机械臂绕开障碍物到达最终目标点。最后,本文通过Kinect V2相机采集真实人体骨骼运动信息,使其与仿真环境中的协作机械臂交互进行测试实验,说明了本文算法的有效性。