包括图像语义分割和图像实例分割在内的图像分割任务是计算机视觉领域的重要课题。传统图像分割方法往往需要先人工提取特征,再进行分割,特征的表征能力不够强,因此传统方法的效率和精度都较低。随着深度学习的迅猛发展及其在计算机视觉领域的广泛应用,出现了基于深度神经网络的图像分割方法,端到端的训练方式和大规模的可学习参数使得图像分割相对传统方法的效率和精度都大大提升。然而,复杂的网络结构和大量参数带来的计算量仍很大,图像分割实时性的提升仍是一个巨大挑战。除此之外,虽然实例分割和语义分割属于不同的分割任务,却具有相似之处,如何利用实例分割辅助提升语义分割效果也值得探索。本文旨在实现基于多任务深度神经网络的图像语义分割,从实时性、多任务学习和结构改进的角度进行语义分割网络的搭建,本文的主要工作如下:（1）以实时性为目的搭建特征提取基干上的简单语义分割头。本文以改进的ResNet-FPN为特征提取基干在其上搭建语义分割头。ResNet-FPN自下向上-自上向下的结构具有极强特征提取能力,因此本文在其上搭建简单语义分割头,该语义分割头融合FPN多层多尺度特征,并且每层特征都只经过简单几层卷积操作。与经典语义分割方法FCN相比,该结构在速度上提升了25 FPS,达到了34.6 FPS,在PASCAL VOC 2012验证集上mIoU为79.25%,相较FCN提升了13.74%。（2）以辅助语义分割为目的搭建多任务学习结构。本文在实时实例分割网络YOLACT的基干ResNet-FPN上搭建语义分割头,由于YOLACT中原型特征可以大致反映各个实例位置,因此本文将原型特征与语义分割特征进行融合,使其辅助语义分割,得到改进后的语义分割结果。所提方法在很小的速度代价下,在PASCAL VOC 2012验证集上的mIoU为83.35%,较不使用任务辅助时的mIoU提升了2.37%。（3）以进一步提升分割性能为目的使用可变形卷积改进语义分割头。相比标准卷积,可变形卷积更能适应物体形变,因此常被用在实例分割中以提升实例分割性能。而现有实时语义分割方法并未将可变形卷积应用到语义分割得分获得过程中。考虑到可变形卷积的优势,本文创新性地将其应用到实时语义分割得分生成过程中,用可变形卷积替代标准卷积,模型分割性能获大幅提升。虽然可变形卷积带来参数量的增加后网络速度有所降低,但该改进仍实现了在PASCAL VOC 2012验证集上85.69%mIoU的最好效果,并且实现了在83.15%mIoU下的实时语义分割。本文将以上三点创新综合应用到同一网络中,最终在PASCAL VOC 2012验证集上得到了高于对比网络FCN 23.63%的mIoU和23 FPS的速度提升。