【摘 要】
:
近些年来,随着算力的增强,深度学习取得了令人瞩目的成就,在各种任务上已经达到了可与人类相比较的水平。虽然深度学习发展得十分迅速,但它对数据量的需求非常大,要训练一个分类任务的模型往往需要百万级别的数据。在实际应用中,往往没有那么多有标注的数据,研究模型如何从大量无标签数据中学得知识是十分有必要的。近两年来,这个问题随着自监督学习的出现取得了突破性进展。和一般的监督学习一样,自监督学习也有泛化性和鲁
论文部分内容阅读
近些年来,随着算力的增强,深度学习取得了令人瞩目的成就,在各种任务上已经达到了可与人类相比较的水平。虽然深度学习发展得十分迅速,但它对数据量的需求非常大,要训练一个分类任务的模型往往需要百万级别的数据。在实际应用中,往往没有那么多有标注的数据,研究模型如何从大量无标签数据中学得知识是十分有必要的。近两年来,这个问题随着自监督学习的出现取得了突破性进展。和一般的监督学习一样,自监督学习也有泛化性和鲁棒性的问题,本文讨论了如何利用因果推断来辅助自监督任务学得更加泛化和鲁棒的表示,并将这种方法应用到少样本学习的任务中。本文首先讨论了如何将因果推断引入自监督学习任务中。首先对自监督学习任务过程进行因果图的建模,再利用独立因果机制,给出自监督学习任务满足因果图模型的一个必要条件,之后以这个条件来约束自监督学习,使其学得图像更加本质的特征。实验证明了相比Sim CLR,使用独立因果机制约束训练出来的模型Sim CLR-ICM在Image Net分类测试数据集上取得了1.5%的Top-1准确率提升,在Image Net-R数据集上取得了2.8%的准确率提升,在Image Net-C上m CE和mr CE指标分别下降了6.1和17.8。这说明了独立因果机制能够提升自监督学习的鲁棒性和泛化性。另一方面,本文还讨论了这种因果自监督学习的应用,以少样本分类任务为例。少样本分类任务常采用基于度量的元学习方法,然而这种方法通常无法在特征空间中将更精细的子类别分开。除此之外,在测试时,少样本分类任务需要泛化到训练集中没有出现的类别上。本文对此引入一个辅助编码器和负样本队列,利用因果自监督学习同时缓解这两个问题。实验证明相比基准模型,在Mini-Image Net测试数据集上,加上自监督损失后,在1-shot测试任务和5-shot测试任务上准确率分别提升了3.69%和5.74%,在使用独立因果机制进一步约束后,模型测试准确率分别在1-shot任务和5-shot任务上进一步提升了1.28%和1.35%;在CUB-200-2011数据集上,加上自监督损失后,在1-shot测试任务和5-shot测试任务上准确率分别提升了4.37%和3.88%,在使用独立因果机制进一步约束后,模型测试准确率在1-shot任务和5-shot任务上进一步提升了0.59%和1.38%。这证明了因果自监督学习在少样本分类任务上是有效的。
其他文献
<正>2022年,江苏现代农业(河蟹)产业技术体系姜堰推广示范基地一名养殖户,改变河蟹传统养殖模式,抽出10亩左右的塘口采用“全雌河蟹+鳜鱼+花白鲢”养殖模式进行试验,主推生态健康养殖技术和侧重优质种源及水草养护,在去年夏季极端高温天气的不利情况下,取得了较好的养殖效益。现将其养殖技术总结如下。
可持续发展的轻质金属结构材料镁合金被广泛地应用于汽车、列车、航空、军工、电子器械及生物医疗等领域。由于现阶段镁合金的强度和韧性依旧达不到部分工业场景的需求,限制了其进一步的应用,因此,开发高强韧镁合金成为近年来研究的主流趋势。Mg-Gd-Y-Zr系合金是典型的高强高韧镁合金体系之一,本课题以Mg-9Gd-3Y-0.5Zr为基体合金,再加入一种稀土进行元素合金化,通过热处理和挤压工艺,制备高强韧的稀
现阶段已经商业化的锂离子电池(Lithium-ion Batteries,LIBs)的正极材料基本都是无机物,它们不仅能量密度已达到瓶颈,并且主要来源于矿石而非可再生能源。无机正极存在的成本问题和环境问题加速了对地球上储量丰富且利于可持续发展的有机正极材料的需求。此外,相比无机正极,有机正极材料还可以通过设计特定的结构达到高的能量密度和优秀的循环稳定性。但目前有机正极的商业化仍面临诸多挑战,其中一
截至目前,相比于无稿同传,口译研究界对有稿同传的关注较少。“脱离原语语言外壳(以下简称“脱壳”)”是释义理论下的口译三角模型中一个非常关键的阶段,而当研究者们谈论同传中的“脱壳”相关问题时,往往不注意区分有稿同传和无稿同传。事实上,由于这两种类型的同传存在机制上的差异,口译员们可能会在其中表现出不同的脱壳程度。本研究通过比较口译学习者在有稿英中同传和无稿英中同传中的脱壳程度和口译质量,探究以下三个
微内核架构操作系统随着万物互联等新型应用场景的出现受到了广泛的关注。因其内核只保留了极其精简的功能,而将操作系统的绝大部分服务解耦后作为独立的组件模块构建在用户态,因此如何使用这些独立的用户态服务模块高效地构建安全的微内核架构操作系统成为了一个重要的命题。然而现有的方法往往是在编译时根据需求和配置选择部分系统模块来构建操作系统,缺乏运行时动态载入服务的灵活性,并且鲜有考虑到内核外的用户态组件安全。
目的:分析温针灸联合首荟通便胶囊对糖尿病胃轻瘫患者临床症状改善及胃肠激素的影响。方法:选取2018年1月至2020年1月德驭医疗马鞍山总医院收治的糖尿病胃轻瘫患者80例作为研究对象,随机分为对照组和观察组,每组40例。对照组患者采用常规西药治疗,观察组患者采用温针灸联合首荟通便胶囊治疗,比较2组患者的临床症状改善情况、胃肠激素水平、胃排空率、胃动力及临床疗效。结果:治疗后,观察组的腹胀、恶心呕吐、
以2016年特朗普上台为标志,民粹主义再次占据美国政治舞台的中心,也迎来了新一波研究热潮。民粹主义作为当前美国最为显而易见的政治特征,是非常值得深入研究的问题。尽管作为一个学术概念,民粹主义并没有统一明确的定义,但由其引发的社会现象则是有规律可循的,这也是为什么民粹主义研究可以做到跨地域、跨学科。本论文着眼于21世纪美国民粹主义,梳理2008年金融危机后民粹主义在美国的发展脉络,并在这一基础上分析
韩国是我国食品出口的重要目的地。近年来,韩国不断对其食品安全标准体系进行调整、完善,并引入了一些新的标准规则,以提高安全风险保护水平,对我输韩食品带来较大挑战。本文对韩国食品安全标准体系进行全面阐述,包括原料标准、生产加工过程标准、终产品安全限量标准、储藏及分销标准、以及食品接触材料标准等,并对重点敏感标准具体指标要求、应用规则及其发展动态进行详细解析,以期为输韩食品的安全生产、监管提供支持,并为
2016年特朗普政府上台以来,中美两国展开了全方位战略竞争,中美关系急剧动荡。探究美国对华政策背后的政策逻辑与战略考量具备一定的学术价值与现实意义。鉴于特朗普政府与里根政府所采取的对外政策都带有浓重的保守主义色彩,本文从保守主义的视角切入,结合两个时期相对应的国际战略背景与地缘政策格局,对里根政府与特朗普政府的对华政策的异同点加以比较,旨在厘清两届政府对华政策背后的具体考量,并以此为依据探究保守主