论文部分内容阅读
近年来,随着深度学习算法在图像识别领域中的应用,图像分类的性能取得了重大的突破。与传统浅层的前馈神经网络不同,深度学习算法模拟人脑工作机制来构建深层网络结构并采用不同的学习技巧,从而能学习到复杂的函数来获得更具有鲁棒性的图像特征。通常来说,图像分类的性能随着卷积神经网络层数的增加而提高,训练一个高性能的深度神经网络模型需要大量已标注的样本。在数字时代,海量图像的获取是非常容易的,但标注大量图像费时费力,且容易引入错误。为了更加有效地节省标注成本,主动学习(Active Learning)算法提供了一个解决途径。主动学习的核心思想是采用某种采样策略,从大量未标注的样本中挑选出少量最有信息量的样本来进行人工标注,使得基于这些少量样本训练得到的模型能达到不错的分类性能。通常来说,如何挑选出高信息量的图像样本是一个值得研究的问题。目前的样本选择策略主要有不确定性,多样性,最小错误等等,而通常的方法只选择其中一种或者两种采样策略来选择最有信息量的样本。单一的样本选择策略在深度学习算法中的作用有限且其效用会随着训练的进行而逐步减少。针对单一的主动学习策略不适用于深度学习的问题,本文研究如何融合多种采样标准来选择最具有信息量的样本从而加速深度学习算法在图像分类中的性能提升。本文主要的研究工作与创新点如下:其一,本文提出了一种新颖的基于多标准的主动采样策略简称为LEVER,该方法同时采用密度,相似性,不确定性和基于类别的度量来选择最具信息量的样本。其中密度和相似性标准能够减少所选样本之间的信息重复,不确定性标准通过偏向于选择那些不确定的样本来加速模型的收敛,而基于类别的度量标准在加速模型性能提升的同时缓解了类之间的性能不平衡性问题。为了最大化地挖掘每一个标准的优势,本文设计了一个自适应的融合方法,它可以在不同的训练阶段探索标准的效用来自适应地调整权重,以此来有效地融合多个标准。其二,针对于CNN模型中的类间性能不平衡问题,本文设计一个新颖的主动学习策略,即基于类别的度量。该标准在CNN模型训练前期,专注于性能提高最快的类来使得模型性能快速提升,而在训练晚期,该标准注重于性能表现较差的类来使得模型均衡发展,因此它可以有效的缓解模型类间性能不平衡问题。其三,本文在MNIST和CIFAR-10数据集进行了大量的实验,实验结果证明了 LEVER的优越性。