基于深度特征度量的小样本学习方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:gnaixug
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习在基于大数据集的图像、语音等任务上取得了重大进展。然而,这些成就都依赖大量标签样本进行训练。这种类型的优化在面对数据集较小的情况下则效果较差,因为如果只是简单的基于小数据集训练深度网络会使网络严重过拟合。为了应对这种问题,深度学习中的小样本学习成为研究重点。完成这个任务会有许多应用,其中最明显的一点即是它在保证一定分类准确率的情况下可以大大减轻样本标注的工作量。目前在小样本学习任务上的解决方案中基于度量学习的方法由于简单高效的特点被广泛使用,其首先通过嵌入网络学习样本的嵌入向量,然后在嵌入空间中直接求解最近邻达到预测分类的目的,本文基于度量学习方法,对特征网络和损失函数提出改进方案,在高效解决该类问题的同时获得了当前已知的最好效果。主要研究内容如下:1.阐述了小样本学习基本构成和基本方法。针对小样本学习系统性的介绍了其基本构成,包括特征网络,特征空间分析,评价标准及数据集。然后详细介绍了小样本学习基本方法。包括数据增强的方法,元学习的方法及度量学习的方法,对各类方法的特点进行了系统的介绍及优缺点分析。2.受原型思想的启发提出代表特征网络,针对原型网络中使用简单平均求类原型,不能很好的评估类中各个支持集样本特征向量对于类原型的不同贡献,提出代表特征概念。代表特征网络包含两个串联模块:嵌入模块和代表特征模块。首先使用嵌入模块提取各个支持集样本嵌入向量,然后堆叠多个嵌入向量输入代表特征模块,得到最终的类代表特征向量。其中的代表特征模块首先使用固定求解方法,充分考虑支持集中不同目标明显程度的样本的嵌入向量对原型的影响,分配不同的权重,然后对其加权求和得到代表特征向量,获得了较好的结果。深入的,使用可学习方法求解代表特征,使用多层感知机结构,在多个公开数据集上验证了该方法的优秀效果。3.针对小样本分类任务中相似类别容易错误分类的情况,提出混合损失函数。由于相似类别在嵌入空间中相距较近,这里通过拉远各个类间距离可以有效降低相似类别错分概率。也就是说,优化后测试样本嵌入向量与同类代表特征的距离变近,与异类代表特征的距离变远,从而避免对于相似类别的错误分类。据此提出混合损失函数,添加相对误差损失项到交叉熵损失中。另外在设计混合损失函数时考虑权重均衡,区分不同损失项的重要性程度,实验结果表明,混合损失函数可以很好的收敛,并且能够减少相似类别错分概率,使得效果有了进一步的提高。
其他文献
开源正在侵吞软件世界。目前已有80%的软件声称使用了开源的方式进行开发。开源技术占据主导地位的领域包括云、内容管理、安全、移动和社交媒体等。本文回顾了开源软件(OSS)
西安至延安高速铁路是包(银)海高速铁路通道的重要组成,兼顾关中城际铁路功能,是一条高标准、大能力的高速铁路。富平、阎良位于西安市北部,是本线路途径区域、也是西安至韩
近年来海河藻华现象频繁发生,海河藻华治理应从蓝藻的最终处置着手,构建应用型强、高效、快速的应急治理技术体系,为海河干流藻华暴发的应急预案提供参考和借鉴。(1)针对河流
不管国家、民族、还是个人,都是在相互依存中谋求发展,世界各民族通过翻译交流文明成果是人类文明发展和进步的重要手段。如高尔基所讲:“如果每一个加盟民族的每一部作品都译成
X射线衍射晶体学是解析生物大分子结构的重要技术手段之一,广泛用于酶的三维结构解析。通过解析酶以及酶/小分子复合物的晶体结构,结合分子动力学的研究,可以获取酶与小分子
目的通过对平湖市钟埭街道社区居民、家庭医生团队成员和队长进行调查,了解家庭医生服务供需匹配状况,发现存在的问题,提出促进家庭医生服务供需对接的策略和建议。方法 2018
目的:探索适合中药"组效关系"的分析方法。方法与结果:以丹参为范例,基于LARS回归算法,按照均匀试验设计-药效试验-数学建模(模型验证)程序,得到丹参素钠、原儿茶醛、咖啡酸3
<正>关于开源软件与商业软件孰优孰劣、谁更能为教育用户带来好处的问题,我想从三个方面阐述。首先,开源软件和商业软件作为两种不同的软件许可模式,不存在谁优谁劣的问题,它
SnO2和ZnO作为宽禁带半导体气敏材料已为人们熟知,而复合金属氧化物ZnSnO3作为一种新型的气敏材料,气敏性能优异,越来越受到人们的重视。但单纯的ZnSnO3基气敏传感器和大多数
利用基因敲除的实验动物我们可以直接检测疾病病理发生发展的过程,揭示基因、细胞组织结构与病因症状之间的关系。转基因兔已成为基因功能研究、人类疾病模型建立和高价值药