实例分割作为一种图像理解的重要方法,旨在找到图像中的目标并对目标进行像素级别的分类,在自动驾驶、智能制造、物流自动化等诸多领域有重要应用价值。随着深度学习的快速发展,基于深度学习的实例分割技术得到快速发展。然而,目前的实例分割方法在处理遮挡场景下的目标分割时,效果还不理想,难以满足应用场景的需求。如在机械臂无序抓取物品应用中,目标堆叠放置,存在严重遮挡,现有的实例分割模型容易出现漏检、部分分割以及分割不准确的情况,从而导致机械臂错误地抓取目标,增加机械臂与目标的碰撞概率,以至产生作业危险。因此,有必要对遮挡目标的实例分割进行深入研究。本文针对机械臂无序抓取物品这一应用场景,从遮挡层次预测、融合注意力机制的双层解耦策略及非模式分割多个角度进行研究,分别提出了基于遮挡层次预测的实例分割模型、基于双层解耦策略和注意力机制的实例分割模型、基于形状推断和多预测融合的非模式实例分割模型,有效提高遮挡目标的分割性能。本文的具体研究工作如下:（1）针对遮挡目标高度重叠导致实例分割模型难以准确分割的问题,提出一种基于遮挡层次预测的实例分割模型。针对目标的遮挡层次设计了多层次检测分支,不同遮挡层次的目标通过多层次检测分支进行预测,减少了目标重叠对模型性能的影响;并根据遮挡目标的形状特点设计了一种遮挡层次计算方法。实验结果表明,该模型较其他实例分割方法在分割遮挡目标时具有更优的性能。（2）针对遮挡目标的分割结果不准确,容易出现掩膜溢出的问题,提出一种基于双层解耦策略和注意力机制的实例分割模型。设计了用于解耦检测实例的双层解耦检测分支和用于生成实例预测掩膜的注意力改进模块。双层解耦检测分支包含两组并行的分支,分别用于解耦检测有遮挡实例和无遮挡实例,降低模型预测高度重叠的遮挡目标的难度;注意力改进模块会根据无遮挡目标预测掩膜计算出注意力权重图,该注意力权重图体现了无遮挡目标在图像每个位置的出现概率,可改进有遮挡目标的分割效果。在多个数据集上的实验结果表明,该模型可明显提升遮挡目标的分割性能。（3）针对缺少被遮挡部分的特征和线索导致已有非模式实例分割难以准确预测目标被遮挡部分的问题,提出一种基于形状推断与多预测融合的遮挡目标非模式实例分割模型,提高了分割目标被遮挡部分的性能。将推断遮挡目标被遮挡部分的过程,归纳为几何特征估计、形状推断以及多预测融合三个步骤,提出了相应的几何特征编码、形状推断网络以及多预测融合的非模式实例分割分支。其中,几何特征编码体现目标的几何特征,形状推断网络根据目标的几何特征推断出目标的粗糙的非模式掩膜,多预测融合的非模式实例分割分支整合所有信息并得到最终的非模式分割结果。在多个数据集上的实验表明,该模型可以有效提高遮挡目标的非模式分割性能。