传统的机器人抓取方法对于重复性的固定任务鲁棒性很好,但是难以适用于那些需要机器人具备自学习能力的智能化控制场景。深度学习、深度强化学习技术的快速发展为机器人的智能化控制提供了新思路。近年来,国内外学者对基于学习的机器人智能化控制技术进行了大量的研究,但是,基于学习和视觉反馈的机器人端对端伺服控制仍旧是一个极具挑战性的任务。本文基于深度卷积神经网络和自适应协方差进化策略算法(CMA-ES),实现了在单目视觉的情况下,对机器人抓取行为的端对端伺服控制。在伺服机制的控制下,机器人可以通过单目图像的反馈连续地调整抓取姿态,最终到达一个更好的抓取位置。首先,分析了伺服控制任务中的映射问题,基于残差单元,搭建了一个深度卷积神经网络,以实现任务空间中单目图像、运动指令到机器人抓取成功概率的映射,并对预测模型的时间复杂度和空间复杂进行了分析。训练后该预测网络能为机器人姿态的调整提供启发性的反馈信号。其次,为了训练抓取成功概率预测模型,搭建了基于视觉的机器人实验平台,设计了训练数据的采集实验,并让机器人在3个多月的时间内进行了4万多次的抓取尝试,总共采集了18万个训练样本;通过使用带权重的交叉熵损失函数和多个性能评价指标,解决了正负样本严重不平衡的情况下预测模型的训练难题;基于GBP算法对训练后的预测模型进行了可视化分析。然后,将搜索最优运动指令的过程建模成一个带限制条件的黑箱优化问题,基于CMA-ES算法和训练后的预测模型,提出了最优运动指令的搜索算法;通过一个决策规则的引入,解决了机器人在当前状态下是执行最优运动指令进行姿态调整还是在当前位置进行抓取的决策问题,实现了对机器人连续地伺服控制。最后,基于提出的算法建立了一个机器人抓取系统,并设计了实验评估方案。实验结果表明,系统对于训练集中的物体能达到70%多的抓取成功率。