论文部分内容阅读
语义分割技术是图像处理和机器视觉领域一项重要的研究内容,在多个重要应用中发挥着不可替代的作用,如自动智能驾驶、机器人场景建模、智能医疗等。语义分割是对输入图像进行像素级别的语义分类计算过程,是一种优秀的场景理解方法。根据使用场景的不同,可以使用不同类别的分割算法,其中城市街景的语义分割是研究最广泛的方面。但现有的街景语义分割只专注于亮度充足的晴天场景,若是作用于低光照的场景将无法取得理想结果。针对现有分割方法作用环境单一的技术问题,结合图像特征学习和转换的思想方法进行深入研究,提出了两种用于低光照场景语义分割的深度网络模型。本文针对低光照场景图像亮度的不足、信息的丢失问题,提出了一种基于级联网络的低光照场景语义分割算法用于直接的语义分割的计算。该方法利用一个级联的语义分割网络进行端到端的语义分割,低光照图像作为网络输入,语义分割图为输出。该级联分割网络主要由两个部分组成,增强网络部分和语义分割部分。其中,增强网络部分是本文提出的能够提升网络亮度的深度网络模型,该模型综合了图片的低级和高级特征,能够提高图片亮度的同时保持颜色的不失真。为了训练该网络,本文提出了一种低光照场景数据集的生成方法,能够生成用于网络训练的语义分割数据集。最后,通过对增强网络和现有的分割网络的联合训练,生成级联分割网络,该网络能够直接作用于低光照的输入,获得良好的分割结果。针对低光照场景图像特征学习出的特征信息包含的亮度信息不足,语义信息存在很大偏差的问题,本文提出了一种基于迁移学习的低光照场景语义分割算法。该算法模型是一种生成对抗的网络结构,其目的就是在语义分割前完成低光照图像的特征迁移的过程。特征迁移就是将理想环境街景图像提取出的包含有利于语义分割的亮度和颜色等特征信息补充到低光照场景特征中去,使得低光照图像特征中包含足够的精确的语义信息,从而提升语义分割结果。生成对抗网络中的判别器可以监督促进特征迁移部分完成,实现正确的特征转换过程。实验结果表明,该方法能够充分利用输入图像的特征信息,实现低光照场景精确有效的语义分割。