机器人的灵巧操控是机器人领域和控制领域的前沿交叉研究方向,是使机器人具备通用性、走向人类生活的必备前提。然而,由于灵巧操控问题具有非结构性、高度复杂性等特点,传统的控制理论难以有效发挥作用。近年来,深度强化学习技术在各个领域不断取得新突破,在灵巧操控问题上也已经取得了一定的成功,但其学习速度、样本效率等方面仍旧水平低下。鉴于此,本文基于深度强化学习技术开展了机器人灵巧操控问题的研究,目的在于提高机器人灵巧操作的学习效率。本文的研究内容包括以下两个方面:首先,从数据增强方向展开研究。作为一种简单且有效的数据增强算法,不变性变换经验回放算法（ITER）通过万花筒式经验回放法（KER）和目标增强式经验回放法（GER）极大地提高了机器人的学习效率。本文深入分析了KER和GER的不足,并分别提出了高效对称经验回放法（KER-I、KER-II）和全面奖励经验回放法（GER-?）,最后进一步形成了高效对称与全面奖励的数据增强算法（ITER-EC）。其次,从算法结构方向展开研究。基于模型的强化学习算法通常效率较高,但在稀疏奖励任务中难以有效学习,而无模型的强化学习算法可以在稀疏奖励任务中取得学习进展,但通常效率低下。结合两者的优点,本文提出了基于Q值的规划算法框架（Plan Q）,并基于该框架设计了两种子算法Plan Q（PDDM）和Plan Q（DDPG）。实验表明,在数据增强方向,本文所提的ITER-EC算法与原算法ITER相比,在具有障碍物的复杂任务中,收敛速度提升了约4倍;在算法结构方向,所提子算法Plan Q（PDDM）相对于原算法PDDM,以及所提子算法Plan Q（DDPG）相对于原算法DDPG,在学习效率上均得到不同程度的提高,即成功率达到90%时的学习速度提高了2～4倍,而且获得了更高的任务成功率。整体上,本文在数据增强和算法结构两个方向上提出的算法,均能够有效地提高机器人的学习效率。ITER-EC算法尽管思想简单,但能够高效地增强样本数据,从而提升机器人灵巧操作的学习效率;而Plan Q算法框架则是将基于模型的算法和无模型的算法两者的优势巧妙地结合,使机器人能够在稀疏奖励的灵巧操作任务中快速收敛。