论文部分内容阅读
深度神经网络(Deep Neural Network,DNN)在各种机器学习任务中获得了巨大的成功。然而其效果在很大程度上依赖于大量标记好的训练数据。在实际问题中,手动标注充足的训练数据通常会耗费大量时间和费用。同时,传统深度学习的另一个缺点是由于域差异问题,而无法泛化到新数据集。域适应(Domain Adaptation,DA)通过利用标签丰富的源域知识来帮助相关但标签稀缺的目标域来解决这个问题,例如对于语义分割这种需要细粒度标注的任务,可以借助于游戏引擎来方便快捷地生成大量带标注的图像,从而辅助真实场景中的语义分割任务。本文主要关注无监督域适应问题,即给定一个源域和一个目标域,源域具有充足的图像和标注信息,而目标域只有图像没有标注,希望获得在目标域上有良好性能的模型。本文考虑了图像分类、图像语义分割和图像目标检测三个基本的计算机视觉任务,根据实际应用场景和任务的不同,分析了存在的挑战性问题,提出了具有针对性的域适应学习方法。本文的主要研究工作和贡献可概括如下:·围绕语义分割任务中的域适应问题,提出了融合低层领域判别器和高层领域判别器的联合对抗学习方法。对于语义分割这样具有结构化输出的任务,通常使用概率空间的领域对抗学习。本文首先提出了一种联合对抗学习方法,通过从低层特征对应的领域判别器引入到高层特征来提升输出空间中的领域对抗学习,然后提出了一个权重迁移模块来减轻解码器对源域的过拟合。具体来说,权重转移模块将原始解码器更改为新的解码器,该解码器仅在对抗损失的监督下学习,因此主要侧重于减少域差异。在两个标准的迁移设置下进行的实验表明,本文方法可以在不同的基线方法上带来明显的性能提升,证明了本文方法在输出空间领域对抗学习的有效性。·围绕目标检测任务中的域适应问题,提出了针对RPN网络的基于类别原型的跨域对齐方法。当前,大多数现有的目标检测域适应方法主要在骨干网络或实例分类器上采用特征对齐来增加检测模型的可迁移性。不同于此,本文首先指出RPN中存在领域差异问题,基于此,提出在RPN阶段进行特征对齐,以便可以有效地区分目标域中的前景和背景候选框。具体来说,首先构建一组可学习的RPN类别原型,然后强制RPN特征与源域和目标域的原型保持一致。其次,采用Grad CAM来找到前景建议中的判别区域,并在RPN特征和原型对齐时,以空间加权的方式增加RPN特征的判别性。本文在多个跨域检测场景进行了实验,结果表明本文所提方法相对于当前最先进方法的有效性。·围绕图像分类任务的域适应问题,提出了基于目标域低置信度样本的实例区分的对比学习方法。当前探索目标域分布的域适应学习方法大部分依赖于高置信度的样本来构建可靠的伪标签、类别原型或者聚类中心,以这种方式表示目标数据结构会忽略大量的低置信度样本,导致次优的可迁移性,因为高置信度样本一般更偏向于源域。为了克服这个问题,本文提出了一种针对低置信度样本的对比学习方法来利用目标数据的完整结构。首先,提出使用低置信度样本构建正负样本对可以更好地避免语义冲突问题,然后用分类器权重重新表示原始特征,这样可以缓解学习到的特征分布和任务判别能力的不一致性。其次,将跨域Mixup与提出的对比损失相结合,以进一步减小跨域差距。最后,在标准的无监督和半监督域适应任务设置上的结果表明,本文的方法是有效的并且达到了当前最好的性能。总结起来,本文针对不同视觉任务中的域适应问题,进行了深入探索和研究,结合实际问题的具体特性,从输出空间的领域对抗学习、RPN网络的类别特征跨域对齐和目标域特征分布的学习等角度入手,提出了具有创新性的解决方案。本文涉及到了从虚拟到真实、不同天气以及不同城市场景等多样化的迁移学习场景,实验结果表明,本文方法在提高CNN模型在不同视觉任务的域适应能力上取得了很好的效果,相较于已有的各类算法取得了明显进步,进一步减少CNN模型对于标注信息的依赖,提高了模型在真实场景下的泛化能力,展示了在自动驾驶、工业4.0和智慧城市等实际应用中的价值。