随着科技的发展,机器人越来越广泛地应用于各行各业,机械臂作为机器人的一个主要分支也越来越多地出现在科研、医疗、工业等场景中,承担重要的角色。其中,抓取功能作为机械臂的主要应用需求,逐渐成为机械臂控制的研究热点。面对日益复杂的任务,传统的控制方法已难以满足机械臂的应用需求。深度强化学习（Deep Reinforcement Learning,DRL）算法以强化学习理论为基础,结合了深度学习理论,是目前机器学习的重要研究领域之一。DRL旨在建立一个通用模型,模型通过与环境的交互,实现自主学习和自主决策,能够有效解决机械臂的智能控制问题,因此近些年科研人员逐渐将DRL与机械臂结合,开展相关领域的研究与应用。但由于真实机械臂工作在三维现实环境中,现有的DRL算法如果在三维空间训练机械臂,会面临状态空间和动作解空间过于庞大,导致训练周期过长、计算机资源消耗过大、训练成本过高等问题,不利于DRL理论在现实中的落地应用和推广。因此,本文通过对四个不同型号的机械臂进行结构和运动方式的分析,以及使用DRL算法做机械臂训练的分析,在机械臂的训练方案和学习算法两个方面进行深入研究。提出了一种面向解空间的机械臂深度强化学习降维训练方法,对深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）进行了改进,提出延迟更新策略深度确定性策略梯度算法（Delay Update Policy Deep Deterministic Policy Gradient,DUP-DDPG）。该算法进一步提升了机械臂的训练效率,同时验证了所提降维训练方法对机械臂避障的有效性,具体工作概括如下:（1）面向解空间的机械臂深度强化学习降维训练方法的研究。通过对抓取任务分解,将机械臂横向舵机与纵向舵机的训练解耦,按舵机两种不同的旋转方式将抓取任务分为确定抓取方向和末端执行器沿抓取方向目标靠近两个步骤,通过抓取的方向确定一个抓取纵面,然后训练控制该纵面的关节使其抓取目标物体。为验证降维训练方法的有效性,搭建了二维仿真环境,使用三种强化学习算法对四款降维后的机械臂分析验证,对比不同算法的网络收敛效果。同时在Coppelia Sim仿真环境中搭建仿真模型并且建立与算法的通信,对四款机械臂在三维仿真环境中使用三种强化学习算法训练,并和降维后的机械臂的收敛效果对比分析,通过降维的方式极大地压缩了解空间,在保证动作执行精度的情况下,简化了训练过程。进一步尝试将训练的目标点从二维平面压缩为一条直线,并对比分析了和二维平面中训练时的差别。（2）DDPG算法的研究与改进。针对DDPG对Q值的高估问题进行改进,提出了DUP-DDPG算法,算法中对同批次样本进行二次价值估计以延迟更新策略网络,缓解了Q值的高估,针对经验池数据庞大,为了学习更多有价值的经验,在算法中添加了优先经验回放（Prioritized Experience Replay,PER）算法,有效提升了算法的训练效率。训练结束后将算法迁移到了实物机械臂上,在实物实验验证与分析中使用“Hi Arm”机械臂抓取四种不同大小的和形状的目标物体,对比原始算法和改进后的算法的收敛程度和对机械臂抓取精度的影响。实验结果表明了所提方法具备训练复杂度低、速度快、精度高和成本低的特点,抓取成功率可以达到98%。同时针对处理的问题,分析了DDPG算法中状态向量,奖励函数和学习率的设置,讨论了不同噪声对动作探索的影响,而且分析了目标点不同大小不同区域对训练过程的影响。（3）机械臂避障的降维训练方法研究。分析了提出的降维方法对机械臂避障的影响,根据障碍物的三维形状、位置和大小等因素将三维环境下的障碍物映射到二维训练环境的抓取纵面。使用DDPG算法训练经过降维处理的机械臂和障碍物,然后将训练完成输出的角度输入三维仿真环境中,分析了二维环境下添加障碍物前后的算法收敛性,并且使用真实机械臂在有障碍物的情况下抓取目标物体。