伴随着科学技术的持续发展,图像处理技术逐渐走进人们的生活,例如目标检测、人脸识别、行为识别等。而语义分割作为计算机领域中不可缺少的一项任务也发挥了巨大作用,它主要是为图像中每个像素分配语义标签,使计算机不仅能够标记出正确类别,而且能够明确目标所在的位置。目前,语义分割技术在自动驾驶、场景解析、视频监测等领域已经得到了十分广泛的应用,因此如何提高识别的准确率以及如何以更低的时间复杂度和空间复杂度,高效地识别出每个像素的类别成为语义分割任务中研究的两大重点。本文主要研究图像语义分割技术,文中首先介绍了深度学习及卷积神经网络的基础理论,并且对FCN网络的语义分割过程做了详细解析,之后针对自然图像和遥感影像分别对骨干网络Seg Net作了相应改进,并做了全面的实验以验证其性能,最终使模型的分割效果得到了显著的提升。本文进行的研究工作主要分为以下几个内容:首先针对自然图像提出了一些方法:(1)为了解决骨干模型中下采样信息丢失和上采样无法恢复完整信息的问题,文中提出了一种基于注意力机制的层次化特征融合方法,该方法主要是将编码器的特征图和与其对应的译码器特征图相融合,逐渐恢复上采样信息,并且在融合层添加了注意力机制,以获取编码器特征图中每个像素的关注度,从而提高分割性能。(2)为了获取特征图中不同尺度范围的上下文信息,提出了基于深度可分离卷积的多尺度特征提取模块,该模块主要是利用不同大小的卷积核提取不同范围的信息,同时利用深度可分离卷积减少参数量。(3)为了提高分割精度,最后将两种方法同时应用于编码器-译码器结构中,提出一种密集分割网络Dense Seg Net,并在Caffe深度学习框架下对每种方法均做了实验验证。最终模型的交并比在Pascal VOC 2012数据集上达到了79.3%,相比于骨干模型Seg Net,性能提升了19.4%。之后针对遥感影像对Dense Seg Net网络作了相应优化:(1)为了解决遥感影像种类繁杂、类别易混淆的问题,文中在Dense Seg Net的基础上,提出了一种树型网络模型Tree Net,该模型主要具有四个分支,分别来自自然图像模型不同网络深度的输出,利用浅层网络提取类间差距较大的特征,利用深层网络提取类间差距较小的特征,从而实现简单类别到复杂类别的分割。(2)此外文中最初采用空洞卷积提高分辨率,而对空洞卷积的使用则大大增加了参数量,因此为了减少模型的计算量和空间占用率,文中又提出了一种金字塔上采样方法,在不降低精度的情况下,有效降低了参数量。(3)最后针对类别不平衡问题采用了加权焦点交叉熵损失函数,并对树型模型各分支的损失函数求和取平均值作为整体损失。最终平均F1分数在本文制作的中卫数据集上达到80.5%,并且模型参数量减少了31.2M。