论文部分内容阅读
近年来,深度学习在基于大数据集的图像、语音等任务上取得了重大进展。然而,这些成就都依赖大量标签样本进行训练。这种类型的优化在面对数据集较小的情况下则效果较差,因为如果只是简单的基于小数据集训练深度网络会使网络严重过拟合。为了应对这种问题,深度学习中的小样本学习成为研究重点。完成这个任务会有许多应用,其中最明显的一点即是它在保证一定分类准确率的情况下可以大大减轻样本标注的工作量。目前在小样本学习任务上的解决方案中基于度量学习的方法由于简单高效的特点被广泛使用,其首先通过嵌入网络学习样本的嵌入向量,然后在嵌入空间中直接求解最近邻达到预测分类的目的,本文基于度量学习方法,对特征网络和损失函数提出改进方案,在高效解决该类问题的同时获得了当前已知的最好效果。主要研究内容如下:1.阐述了小样本学习基本构成和基本方法。针对小样本学习系统性的介绍了其基本构成,包括特征网络,特征空间分析,评价标准及数据集。然后详细介绍了小样本学习基本方法。包括数据增强的方法,元学习的方法及度量学习的方法,对各类方法的特点进行了系统的介绍及优缺点分析。2.受原型思想的启发提出代表特征网络,针对原型网络中使用简单平均求类原型,不能很好的评估类中各个支持集样本特征向量对于类原型的不同贡献,提出代表特征概念。代表特征网络包含两个串联模块:嵌入模块和代表特征模块。首先使用嵌入模块提取各个支持集样本嵌入向量,然后堆叠多个嵌入向量输入代表特征模块,得到最终的类代表特征向量。其中的代表特征模块首先使用固定求解方法,充分考虑支持集中不同目标明显程度的样本的嵌入向量对原型的影响,分配不同的权重,然后对其加权求和得到代表特征向量,获得了较好的结果。深入的,使用可学习方法求解代表特征,使用多层感知机结构,在多个公开数据集上验证了该方法的优秀效果。3.针对小样本分类任务中相似类别容易错误分类的情况,提出混合损失函数。由于相似类别在嵌入空间中相距较近,这里通过拉远各个类间距离可以有效降低相似类别错分概率。也就是说,优化后测试样本嵌入向量与同类代表特征的距离变近,与异类代表特征的距离变远,从而避免对于相似类别的错误分类。据此提出混合损失函数,添加相对误差损失项到交叉熵损失中。另外在设计混合损失函数时考虑权重均衡,区分不同损失项的重要性程度,实验结果表明,混合损失函数可以很好的收敛,并且能够减少相似类别错分概率,使得效果有了进一步的提高。