近年来深度卷积神经网络的发展十分迅速,神经网络的预测能力正在逐步从图像水平预测向区域预测、像素预测和实例预测发展。实例分割兼具实用性和挑战性,近年来成为计算机视觉的一个研究热点。Mask R-CNN是一种简单有效的实例分割框架,由于其效果较好、易于扩展,在实例分割领域有着举足轻重的地位。但其仍存在误检、漏检、实例分割精度低等问题。针对这些问题,本文在Mask R-CNN算法上加以改进,提出一种改进的实例分割算法。另外,为了解决特定场景下的实例分割问题,本文也在自制数据集上对改进的实例分割算法进行了一些额外的讨论。首先,为了提高Mask R-CNN算法的精度,改善漏检和误检,本文对特征提取和融合部分做了三点改进。第一,在特征提取层使用可变形的卷积层来扩大感受野,使感受野更适应目标的形状,改善实例分割的精度。第二,使用一种空间和通道的激励模块,改善实例分割网络中的漏检和误检。第三,利用一个反向的FPN网络,仅通过增加极少的卷积层,将底层的细节特征快速引入到上层特征层中,使底层特征易于传播。实验结果表明,检测和实例分割都取得了明显的改善,在公开的MS COCO数据集上均有了一定的提高。另外,本文自制了针对实例分割的室内密集人员数据集。该数据集图像人形目标之间存在严重的遮挡和多尺度问题,这导致了实例分割的效果不佳,因此本文针对自制数据集的特点进行了一些改进。第一,使用Soft-NMS改善因NMS阈值的设定而造成漏检的状况。第二,针对自制数据集的一些特点,本文使用了两种公共数据集对其进行定向拓展,增强网络的鲁棒性,并在自制数据集上得到了很好的效果。