选择性分类算法在知识蒸馏框架中的研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:beckham621
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在深度学习中,越来越高的计算资源让模型的部署代价日益提高,如何优化模型成为了热门研究。知识蒸馏被经常用来解决模型压缩问题,并取得了卓越的成就。它将一个预训练好的大规模模型的监督信息传递给规模较小的原始模型学习,以较小的代价提升性能和加速运算,该训练结构被称为“师生框架”。然而其中仍然存在着两种缺陷亟待解决:一是传递的监督信息有时候并不准确,二是原始模型自身的预测能力有限。针对上述存在的缺陷,本文设计了两种算法进行处理。对于第一个问题,本文参考了标签平滑算法对于真实标签的处理,不拘泥去如何学习模型的输出与真实标签的组合,而是采取一种知识修正的方法,用真实标签来纠正输出监督信息的错误,在不引入额外参数的情况下让原始模型学习到正确的监督信息。对于第二个问题,本文参考了最近提出选择性分类算法中对于网络模型难易样本能力的研究。以深度赌徒损失作为损失函数,额外引入了一类来衡量每个样本的预测置信度,让模型可以根据置信度评分进行选择性预测,以提高自身预测能力和精度。本文成功将其应用到知识蒸馏方法上,形成了新的选择预测的师生框架。为了验证算法的有效性和鲁棒性,本文考虑了两种实验设置:(1)不同结构的模型中蒸馏(如AlexNet,ResNet)?(2)不同深度的模型中蒸馏(如ResNet18,ResNet50)。通过与原始模型及其他主流选择性分类方法的比较,分别报告全覆盖预测准确率和不同覆盖程度下错误率,充分验证了本文提出方法对于传统知识蒸馏的师生框架与模型选择预测能力的提升。
其他文献
近年来,由于人口的增长、城市化的进程和经济的发展,使得厨余垃圾的处理与资源化利用问题日益突出。本研究以调查结果为根据,选择合适的微生物菌种和蓬松剂,提出一种具备粉碎和通气功能的密封堆肥桶的方案;通过微生物菌剂复配和蓬松剂的组合,进行厨余垃圾好氧堆肥的效果分析;将综合效果最好的堆肥成品用于植物栽培实验,验证堆肥对植物和土壤的影响。得到以下结论:(1)加入复配菌剂能提高厨余垃圾好氧堆肥中堆体的温度,分
黄曲霉毒素B1(Aflatoxin B1,AFB1)是目前发现毒性最强的真菌毒素,具有极强的致癌性、致畸性、肾毒性及肝毒性。广泛存在于花生、玉米、谷类等农产品和食品中,是引起食品安全事故的重要因素。利用微生物聚生体对黄曲霉毒素进行降解具有环保、高效、无毒害,降解效果更为稳定等优点,进而可以减少并控制黄曲霉毒素的危害,是解决黄曲霉毒素污染的有效途径及研究热点。目前,国内外对微生物降解AFB1的作用已
结直肠癌(colorectal cancer,CRC)是全球第三大常见的恶性肿瘤,并且是癌症死亡的第二大原因,扩散后5年生存率仅为13%。化疗是结直肠癌治疗的标准方案,但耐药特别是多药耐药(multidrug resistance,MDR)已经成为临床治疗CRC的一大障碍,有近90%的患者在治疗过程中出现了一定程度的MDR,这使得临床治疗无法取得预期的效果,从而引起肿瘤的复发和转移,并最终死于癌症
随着人们对水果需求的增加,水果种植业得到发展,而整个种植过程中果树采收作业耗时、耗力、劳动强度大,加之农村劳动力短缺,使得采用农业机器人自动化采收水果是一种发展趋势。针对目前采摘机器人机械臂构型众多,缺少工作适应性评价指标的问题,本文提出评价不同构型机械臂采摘不同树形水果方便程度的指标。首先,根据果树收获阶段的生长规律及特点,描述收获阶段果树的一般结构,引入参数和方程,建立了果树的数学模型;并借助
为了更好地理解自然界中各种复杂的非线性物理现象,非线性系统进入了科学家的视野,非线性系统的求解是非线性科学的一个重要研究内容。人们已经从不同角度出发,建立了不少求解非线性系统的方法。多线性分离变量法(MLVSA)是其中一种非常有效的求解方法,它在低维系统的求解中发挥了很大作用,但是在高维情况下的应用较少。因此,本文主要借助符号计算软件平台Maple和Mathematica,研究MLVSA在3+1维
活性氧(ROS)是生化过程中涉及电子传递的一类代谢产物,参与体内各种生理和病理过程。在生理条件下,抗氧化防御机制(包括酶促抗氧化剂和非酶分子)可以使细胞内ROS含量处于低浓度的动态平衡。其中,酶促抗氧化剂主要包括:过氧化物酶(POD)、超氧化物歧化酶(SOD)、过氧化氢酶(CAT)、谷胱甘肽过氧化物酶(GPx)等。非酶分子主要有还原型谷胱甘肽等小分子。在中、低水平,ROS具有有益的作用,参与防御病
数据库验证场景是一类经典数据服务场景,其通过对数据库中的用户隐私数据进行验证,以完成信息确认、条件审核等证明任务。该场景以便捷性优势逐渐取代纸质保存、人工审查的传统验证场景,但由第三方数据库存储所带来的隐私泄露事件频发。为解决上述问题,研究者们提出一系列隐私保护新技术,使隐私数据能够在加密状态下支持特定声明类型(如成员证明、范围证明等)的零知识证明,然而支持通用声明类型的相关技术研究,目前仍处于空
近年来,纳米孔传感技术发展迅速,灵敏度不断提高,功能化方法也越来越多样化。纳米孔传感技术可以对多种分析物进行无标记单分子测量,包括DNA、RNA、蛋白质复合物等,生物技术应用取得长足进展。但是,基于离子流变化的纳米孔检测方法仍然受到一定的限制。之前报道的大多数方法都是基于分析物介导离子流波动,容易受到非特异性吸附的干扰。因此如何矫正伪信号,提高检测方法的选择性与准确性成为本文的研究重点。为了解决上
腐乳是具有我国传统特色的大豆发酵制品的主要种类之一,深受消费者喜爱。腐乳的生产和贮藏过程中,易生成生物胺。生物胺是一种含氮化合物,具有毒理效应,高剂量摄取会损害身体健康甚至危害生命。近年来,随着消费者健康意识的增强,腐乳的质量安全问题越来越成为人们关注的重点。然而,由于贮藏和运输中冷链系统不完备,极易为微生物繁殖和生物胺生成提供条件,造成腐乳腐败变质,产品品质不稳定,货架期参差不齐。因此本文为探索
随着互联网的应用场景不断丰富,海量的文本信息以爆炸般的趋势生成,这使得精准的知识获取变得越来越重要。关系抽取任务作为信息抽取中至关重要的步骤,为构建大规模的知识图谱提供了有力的支持。近年来,得益于机器学习技术,尤其是深度学习取得的长足发展,关系抽取模型的性能得到了显著提高。关系抽取模型主要采用卷积神经网络、循环神经网络作为句子编码器,然而,卷积神经网络很难学习到单词间的长距离依存关系,而循环神经网