Bin Picking是识别和分拣复杂堆叠物体的一类典型问题。针对Bin Picking中目标物体堆叠严重,传统检测算法鲁棒性弱等研究难题,本文采用深度学习的方法实现对该场景下的实例分割,深入研究并搭建实例分割的深度学习框架,从而为后续物体的抓取打下基础。针对深度学习中目标数据集获取困难的问题,本文采取虚拟仿真技术构建虚拟数据集,数据增强等方法进行训练数据集扩充,并实现了深度学习模型的有效训练。论文的主要研究内容如下:(1)在虚拟仿真技术的基础上,提出了虚拟数据集构建方案的设计。该构建方案使用OpenGL和Bullet物理引擎搭建了物体堆叠的场景,使用视口渲染的方法生成虚拟数据集,从而避免了繁杂的人工制作数据集的工作;(2)研究了数据集的数据增强方法,提出了数据增强流水线的方法,通过连通域处理的方法保证数据增强后数据集的准确性,采用多线程多进程方法提高了数据增强处理的效率;(3)研究了深度学习相关的理论基础,提出了自顶向下的方法,将实例分割划分为利用卷积神经网络提取特征、完成图像中区域的提取、完成区域的分类和边框定位、完成区域中像素级分割这四个子任务,探讨了各个子任务的实现方法。在此基础上设计了深度学习模型的训练策略。通过虚拟数据集的生成实验、虚拟数据集数据增强的实验以及智能识别方法识别的实验,证明了利用虚拟数据集和数据增强等方法,论文所搭建的深度学习模型具有良好的物体识别效果,为Bin Picking的目标识别提供了较好的应用基础。