随着人工智能、计算机技术等新一代信息处理技术的快速发展,机械臂领域的研究及应用也向智能化方向逐渐迈进。在智能制造领域,期望机械臂具备更高水平的学习能力,从而掌握诸如抓取、装配、搬运等技能操作。此外,当面对复杂装配环境或者新任务时,需要针对机械臂训练出适应任务要求的策略模型。本文以工业装配场景中的抓取技能和轴槽装配技能为机械臂学习目标,采用深度强化学习理论与技术训练任务模型。通过对抓取技能中样本利用率及装配技能中奖励稀疏问题进行分析和改善,使得机械臂能够通过学习不断优化决策,从而掌握任务要求的技能。针对杂乱环境下单机械臂抓取目标物块的技能学习,本文提出一种带有策略引导机制的深度Q网络算法（PG DQN）,从而建立从视觉输入到动作输出的策略模型。由于机械臂技能操作的动作空间连续且高维,如果传统深度Q网络算法（DQN）直接应用于机械臂,则会引起样本利用率低、探索空间复杂等问题,从而导致训练模型难以收敛。针对上述问题,本文首先采用点云技术以及全卷积神经网络,将任务建模为像素级预测问题。其次采用策略引导机制,将机械臂任务目标引入到强化学习模型中,通过在训练初期将原本利用价值较低的负样本经过引导,使其向正样本趋近,从而提高了样本利用率。为验证所设计的算法,在Coppelia Sim仿真平台建立单机械臂抓取系统和测试场景。仿真实验表明在单机械臂抓取目标物块任务中,基于PG DQN算法的抓取成功率约75%。相比基于传统DQN算法的机械臂抓取技能操作,所设计的PG DQN算法能够显著提升抓取效果。针对轴槽装配技能学习,本文建立双机械臂协同装配系统。相比单机械臂,传统双机械臂控制系统不仅存在复杂的运动耦合问题,而且计算量庞大,因此难以满足智能化装配需求。针对上述问题,本文基于多智能体强化学习理论,将多智能体深度确定性策略梯度（MADDPG）算法应用于双机械臂协同轴槽装配系统。在双机械臂协同轴槽装配中,因为存在长序列决策问题,通常导致稀疏奖励情况更加明显。本文在设计整体奖励时考虑了单个机械臂的自身决策对于整体任务奖励影响。通过计算每个机械臂状态前后变化差值,并将该差值作为内在状态激励而施加到整体任务奖励中,从而对传统奖励函数进行了改进。为验证所设计的算法,在Coppelia Sim仿真平台建立双机械臂轴槽装配系统和测试场景。仿真实验证明在双机械臂轴槽装配任务中,基于MADDPG算法成功率约83%。