深度对比学习综述

来源 :自动化学报 | 被引量 : 0次 | 上传用户:dannychan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在深度学习中,如何利用大量、易获取的无标注数据增强神经网络模型的特征表达能力,是一个具有重要意义的研究问题,而对比学习是解决该问题的有效方法之一,近年来得到了学术界的广泛关注,涌现出一大批新的研究方法和成果.本文综合考察对比学习近年的发展和进步,提出一种新的面向对比学习的归类方法,该方法将现有对比学习方法归纳为5类,包括:1)样本对构造; 2)图像增广; 3)网络架构; 4)损失函数; 5)应用.基于提出的归类方法,对现有对比研究成果进行系统综述,并评述代表性方法的技术特点和区别,系统对比分析现有对比学习方法在不同基准数据集上的性能表现.本文还将梳理对比学习的学术发展史,并探讨对比学习与自监督学习、度量学习的区别和联系.最后,本文将讨论对比学习的现存挑战,并展望未来发展方向和趋势.
其他文献
学位
学位
学位
<正>读后续写是给考生提供一篇350词以内的材料,要求他们依据材料内容、所给段落开头语及所标关键词(浙江)进行续写(150词左右),将其发展成一篇与给定材料有逻辑衔接,情节和结构完整的短文。该题型要求考生首先要读懂已知文本信息,明白故事的情节脉络、人物特征和情感变化等。在此基础上,考生顺着文章的思路,根据线索发挥想象,对其后的情节进行合理预测,并用英语表达出来。因此,读后续写既考查考生的阅读理解能
期刊
幼小衔接阶段是幼儿重要的成长阶段,这个阶段的幼儿面临着生活、学习模式的变化以及角色的转变,这对于他们来说极具挑战性。在幼小衔接阶段,轻松自由的游戏化学习形式将告一段落,幼儿升入小学后,会进行更加系统化的学习,学习难度加大、节奏加快。如果幼儿没有养成良好的学习习惯,就很难适应这一转变,因此,教师在幼小衔接阶段要运用有效的引导与教育方法做好幼儿的学习习惯培养工作,为幼儿更好地适应小学学习打好基础。由此
期刊
学位
学位
针对遥感图像河流数据样本人工标注成本高且难以大量获取,以及网络在河流图像边缘细节提取的效果不佳问题,提出一种通过自监督对比学习方式利用大量无标签遥感河流图像数据进行编码器预训练,并使用少量标签数据对预训练后的编码器进行微调,同时在编解码结构中使用一种新的非均匀采样方式的语义分割网络。自监督对比学习可以利用大量无标签数据进行前置任务模型训练,仅需少量标签数据对下游河流提取任务模型微调即可;非均匀采样
期刊
机械振动和机械波的知识点在高考中作为理综物理选考题,本身难度虽然不是特别大,但在日常生活中却有许许多多的应用,比如利用超声波测速及定位等。正确并全面地解读这部分知识点,有助于高中生在学习及备考过程中有系统有条理地梳理知识点,掌握解题技巧,不在不应该丢分的地方出纰漏。
期刊
学位