传统工业机器人通过离线编程方式进行物体抓取,但因其智能化程度低,只适合大规模生产流水线,对于一些小型制造业中生产出的不规则工件不能有效抓取。随着计算机视觉技术的兴起,工业生产中无序摆放的目标抓取应用需求越来越多。在针对复杂环境下杂乱摆放的机器人目标抓取问题,三维空间目标抓取的难点通常在于对工件的目标识别以及三维空间位姿的测算。为解决机器人三维空间无序抓取问题,研究一种能够进行目标检测、三维空间位姿测算并进行智能抓取的方法对基于深度学习的机器人智能抓取系统具有十分重要的意义。针对以上问题,本文提出一种基于深度学习的机器人视觉抓取方法,解决复杂场景下物体目标识别、位姿测算、抓取并摆放问题,进一步提高目标抓取效率。对相机标定、双目测距、抓取系统的目标检测模型、语义分割模型以及工件的姿态估计进行深入的理论和实验研究,主要研究内容如下:本文从机器人抓取的硬件系统、软件系统、结合多模深度学习的位姿测算法着手,深入研究并且设计了基于多模深度学习的机器人抓取系统。研究了相机成像模型,以及双目视觉深度测量的技术原理。对双目相机的内外参数标定进行深入研究,并利用SGBM算法进行双目立体匹配,通过双目成像原理对被抓取目标工件进行深度测量。对YOLOV3-tiny目标检测模型进行分析,为适应本课题环境,实现对小目标工件检测的泛化性,设计新的特征融合结构并增加52×52的输出尺度。通过在网络中加入源信息融合模块,加强深层网络信息的表达能力,实现对工件良好的检测效果。提出一种基于Mask RCNN改进的语义分割算法,将特征提取网络替换为Res Net34网络,随后在主干网络中添加注意力机制,修改后的网络在精度上满足实验需求的同时提高了运算速度。设计了一种基于工件掩膜的特征点姿态估计法,利用工件图片进行掩膜处理,计算出工件掩膜的“基线”,利用过质心点的基线的法线计算出工件的姿态。最后搭建本文提出的抓取系统,通过软件系统实现了对工件的三维空间检测定位以及姿态估计。通过实验证明本文提出的结合多模深度学习的抓取系统的精度很高,运算速度很快,可以满足精准抓取的背景需求。