小样本学习的目的在于学习一个具有良好泛化性能的分类模型,当只有一个或者几个样本时,该模型也能快速泛化到新的类别上。这在现实中具有很重要的应用价值,因为一方面很多时候一些新的类别的样本是很难获取的,另一方面有些应用中的样本标注往往是非常困难的。由于每个类别中极其有限的样本个数很难有效地表达类别分布,使得小样本学习问题非常具有挑战性。小样本学习目前主要有三类方法,即基于数据扩充的方法,基于元学习的方法和基于度量的方法。本文主要从基于度量这类方法着手,分析目前小样本学习中主要存在五个挑战,即知识的迁移、图像表征、概念表征、关系度量和模型鲁棒性,并提出相应的解决方案。具体地,本文主要提出以下四个创新方法:(1)提出一种协方差度量网络框架(Covariance Metric Network,简称为Co-vaMNet)。针对目前小样本学习中主要采用一阶统计信息进行概念表征的问题,提出了一种二阶统计信息的概念表征方法。因为二阶统计信息往往比一阶统计信息包含更多的信息量,更利于小样本场景下的概念分布表征。具体地,我们采用包含二阶信息的协方差矩阵对概念类别进行表征。为了有效计算协方差矩阵表示,我们首次将丰富的深度局部描述子特征引入小样本学习。在协方差表征之上,我们进一步定义了一个新的协方差度量来计算查询样本和概念类别之间的分布一致性。同时,我们通过一个简单的理论分析证明了该度量的有效性。(2)提出一种对比分布度量框架(Contrastive Distribution Metric Network,简称为CDM)。CovaMNet方法中初步探索了对于概念类别的分布表征,即二阶协方差表征,但它忽略了查询样本本身潜在的分布特性。此外,CovaMNet仅考虑了二阶信息,却忽略了同样重要的一阶信息。在CDM中,我们同时考虑一阶信息和二阶信息,并从分布的角度同时对查询样本和概念类别进行分布表征。在关系度量方面,我们采用了一种分布度量函数,即2-Wasserstein距离直接计算查询分布和概念分布之间的分布一致性。另外,在这个分布度量函数的基础上,我们还提出一个基于分布三元组的对比分布度量函数,以进一步提升分布度量空间的判别力。(3)提出一种基于图像到类别度量的深度最近邻神经网络方法(Deep Nearest Neighbor Neural Network,简称为 DN4)。CovaMNet 和 CDM 中虽然都初步尝试使用深度局部描述子特征来代替传统的图像级别全局特征,但是它们仍然对深度局部描述子进行了量化操作,即计算协方差表征。受NBNN方法的启发,我们知道量化操作(例如全局特征,协方差表征)会损失很多有鉴别力的信息,这在小样本场景下是不可恢复的。因此,在DN4中,我们采用原始的、未经量化的深度局部描述子特征池来表征查询样本和概念类别。此外,在关系度量上,不同于传统的图像到图像的度量方式(image-to-image measure),我们采用一种可以享有视觉模式交换性的图像到类别的度量方式(image-to-class measure)。(4)提出一种基于多层分布的对抗训练机制(Multi-level Distribution based Adversarial Training,简称为MDAT)。现有小样本学习方法主要关注干净样本下的小样本分类问题,却忽视了模型的鲁棒性和安全性。然而,传统机器学习模型和深度模型很容易受到对抗性样本的攻击,并且这些对抗性样本是人眼无法区分的。因此,在本文中,我们引入了一个新的研究问题—防御型小样本学习。在这个新的问题上,我们提出一个新的基于插曲的对抗训练机制,以帮助对抗防御性知识的迁移。另外在任务防御自适应性上,我们提出一种任务依赖的分布约束来提高模型的鲁棒性。