近年来,作为计算机视觉领域一个具有挑战性的研究课题——图像语义分割,在自动驾驶、医疗影像分析、无人机落点判定以及航天卫星遥感等现实场景中发挥了至关重要的作用。受益于深度学习中卷积神经网络在图像处理领域的巨大成功,目前的语义分割任务在性能方面取得了显著提升。然而,大多数语义分割方法只是通过不断增加模型复杂度来提高分割效果,却忽略了硬件资源内存、显存消耗和推理延迟等问题。针对以上问题,本文基于深度卷积神经网络,提出了轻量级实时语义分割模型兼顾算法精度、推理速度和内存占比,具体研究内容如下:（1）本文设计了一种基于多尺度上下文融合方案的新型轻量级网络（MSCFNet）,探索了一种非对称的编码器-解码器架构。在编码器部分采用了由分解卷积、深度可分离卷积和空洞卷积组成的有效的非对称残差卷积模块,并且在三次降采样之后,利用原图信息进行相应尺度细节信息补充;同时,利用网络不同阶段的注意力分支来捕获多尺度的上下文信息,并在解码部分融合它们以提高图像特征的表达。MSCFNet在Cityscapes数据集上实现了71.9%m Io U的精度,并且可以在一个Titan XP GPU配置上以超过50FPS的前向推理速度运行;在Cam Vid数据集上实现69.3%m Io U的精度,很好地实现了分割效率和分割精度之间的平衡。（2）针对图像语义分割在编码部分下采样会丢失信息这一问题,本文提出了一种快速双边对称网络FBSNet。具体来说,FBSNet采用了具有两个分支的对称编码器-解码器结构,分别是语义信息分支和空间细节分支。语义信息分支是具有深度网络结构的主要分支,用来获取输入图像丰富的上下文信息以及获得足够的感受野;空间细节分支是浅而简单的网络,用于建立每个像素之间的局部依赖关系以保存细节。同时,设计了一个特征聚合模块,以有效地结合这两个分支的输出特征。在一张RTX2080Ti GPU配置上进行测试,在Cityscapes数据集上以每秒90帧的推理速度达到70.9%m Io U的分割精度,在Cam Vid数据集上以每秒120帧的推理速度达到68.9%的分割精度,且整体模型大小只有0.62M,计算复杂度只有9.7G,是这一种硬件资源受限条件下的高效分割方法。（3）利用Transformer不拘束于局部信息之间的权值配比关系,而是着眼全局的相互依赖这一特性,将卷积神经网络CNN与Transformer相结合,提出了一种基于卷积神经网络编码解码结构的网络（LETNet）。首先利用编码器对输入的图像进行特征提取,然后将特征图进行重塑切割变为一维序列输入到高效的Transformer进行全局特征建模。解码部分负责恢复到初始的分辨率进行逐像素点的分类预测最终形成分割图。LETNet仅在一张RTX3090 GPU的硬件基础、整体只有0.91M参数量以及12.6G计算复杂度的条件下,在Cityscapes数据集上取得了71.6%的分割结果,在Cam Vid数据集上更是取得了70.5%的显著表现。该方法充分证明了卷积神经网络CNN与Transformer结合之后在实时语义分割领域的有效性。综上,本文针对实时语义分割问题提出了三种有效的网络,结合了卷积神经网络与Transformer,以解决实际问题为出发点,结合空洞卷积、深度可分离卷积、注意力机制等在分割精度、模型大小和推理速度取得了更好的平衡,并且通过实验证明,本文提出的方法取得了预期的效果,具备了部署到实际场景应用的能力。