机械臂广泛应用于工业生产和社会生活的各个领域,传统的机械臂控制方法依赖于精准的环境模型,难以适应复杂的、未知的非结构化环境。近年来,随着人工智能技术的发展,结合深度强化学习的机器人控制技术有了长足的进步。深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）算法作为深度强化学习的经典算法,适用于连续控制问题,广泛应用于机械臂控制研究,但由于DDPG算法存在学习效率低、样本利用率低以及对奖励函数敏感等问题,难以在短时间内获取较好的策略。针对这一问题,本文以机械臂视觉抓取控制任务为应用背景,研究基于DDPG算法的改进算法,以减少机械臂与环境的交互次数,提升策略模型的学习效率和策略水平。具体的研究内容如下:在UR5机械臂仿真平台上,以观测图像和机械臂关节角度信息作为状态,机械臂关节转动量作为动作输出,研究了基于DDPG的机械臂抓取控制方法,在此基础上还研究了经验回放机制对DDPG算法学习效率的影响,针对经验池数据利用效率低问题,使用了分类经验回放机制进行改进。实验结果表明,使用分类经验回放机制能够显著提高DDPG算法在机械臂抓取控制中的效果。针对深度强化学习算法在训练初期智能体难以获取奖励这一问题,论文将多目标学习方法引入到机械臂抓取控制问题中,提出了结合多目标学习DDPG的机械臂视觉抓取控制方法。该方法在分类经验回放DDPG算法的基础上,在每集的最后一步,使用虚拟目标代替原始目标,使机械臂在每集结束后均能获得高奖励。实验结果验证了方法的有效性。针对深度强化学习算法在训练初期收敛速度慢,容易陷入局部最优无法收敛到最优策略的问题,论文将模仿学习方法引入到DDPG算法中,针对机械臂视觉抓取问题,结合专家数据,提出了基于预训练策略模型的DDPG算法和经验池引入专家数据的DDPG算法。基于预训练策略模型的DDPG算法通过专家数据预训练策略模型,为DDPG算法提供合理的初始策略以加快模型收敛。经验池引入专家数据的DDPG算法在模型训练前通过向经验池中添加专家示教数据方式以引导模型往更优策略收敛。仿真实验结果表明,两种方式均有效提升了模型学习效率,且基于预训练策略模型的DDPG算法更优。