【摘 要】
：
终身学习能够为不断增多的复杂任务提供合适的学习模型,绝大部分的终身学习方法都是为了解决灾难性遗忘的难题（即随着复杂任务数量不断增多,用新任务的数据信息训练模型会干扰到先前任务学习到的知识）,其中一种名叫少遗忘学习方法（Learning Without Forgetting,LWF）,通过知识蒸馏使得模型在学习新任务时限制参数相对于旧的任务的变化,但是,该方法复习旧的任务和学习新任务会存在不彻底的问
论文部分内容阅读
终身学习能够为不断增多的复杂任务提供合适的学习模型,绝大部分的终身学习方法都是为了解决灾难性遗忘的难题（即随着复杂任务数量不断增多,用新任务的数据信息训练模型会干扰到先前任务学习到的知识）,其中一种名叫少遗忘学习方法（Learning Without Forgetting,LWF）,通过知识蒸馏使得模型在学习新任务时限制参数相对于旧的任务的变化,但是,该方法复习旧的任务和学习新任务会存在不彻底的问题。从软标签强化、软标签记忆和硬标签强化的角度出发,充分发挥知识蒸馏和软标签的作用,提出了3种新的改进方法,分别是基于Hot-Tuning的任务恢复改进算法（Easy-Tuning,E-Tuning,充分学习完新任务后复习旧任务,对旧任务复习能力更强）、基于LWF的多阶段新旧任务复习改进算法（After-LWF,A-LWF,一起学习完新旧任务后再分别复习微调新任务和旧任务,分为FA-LWF、WA-LWF和HA-LWF三种,可同时在新任务和旧任务上表现更好）和基于LWF的双向任务回溯改进算法（Bidirectional-LWF,BD-LWF,一起学习完新旧任务后再一起反向蒸馏新任务和主馏旧任务,在学习新任务时能更有效学习旧任务）,并在此基础上使用无标签数据进任务复习,提出其改进方法——基于LWF的无监督学习改进方法（Unlabeled LWF,U-LWF,可利用无限的无标签数据复习旧任务）。在按照两个维度（复杂-简单、简单-复杂、平均分配的多级任务数据集和任务之间数据集有无交叉重叠部分）进行组合的16组多任务数据集中,将提出的三种改进方法同其他已有的10种方法在Backward-Transfer、Forward-Transfer和Average-Accuracy三大指标进行对比实验,结果显示E-Tuning方法相对于HotTuning方法在Average-Accuracy指标高出近2个百分点,HA-LWF方法相对于LWF方法在三个指标上分别高出近4、0.5和2个百分点,BD-LWF方法分别高出近4、1和1.5个百分点。对新方法使用一倍多无标签数据进行无监督学习,在Backward-Transfer指标和Average-Accuracy指标提高近1个百分点。所提出的三大创新点在终身学习任务上相比于原模型而言是有效的:（1）首次在终身学习研究中使用无标签数据方法;（2）首次在终身学习研究中使用双向软标签强化方法;（3）充分发挥软标签对旧任务的复习作用。与此同时,还研究并实验验证了在任务学习过程中,模型中的参数按照重要度依次分布在卷积共享层、全连接共享层和任务Top独立层。
其他文献
近年来,随着无人机控制技术的不断成熟,无人机被广泛应用于各个领域。视频监控作为现代社会生活的重要安防工具,严重影响公共安全和秩序。现有的视频监控算法主要基于定点摄像机,其具有成本高,监控视角单一的缺陷。针对这一问题,本文开展基于无人机的自主智能监控算法研究。主要研究工作和创新总结如下:第一,设计无人机智能监控系统的整体架构。针对当前无人机智能监控定义不明确,架构不科学,提出了无人机智能监控系统的整
货车超限超载治理是目前公路交通领域的突出难题。车辆轴型识别对于准确判定货车载重限值和实施精细化管理具有重要意义。然而目前在测的轴型识别仪在技术成熟度、识别稳定性等方面尚难以满足实际工程需要。货车的轴型分型难以直接从车辆的侧面进行准确判断,另外,从执法角度讲,清晰完整的底盘影像资料是行业管理的必备资源。本文针对上述工程需求,从提升复杂应用条件下货车底盘成像质量和完整性的角度开展技术进行研究,利用生成
现代军事领域中,通过对无人飞行器的飞行轨迹进行精细规划,进而实现飞行器的高突防能力是实现精准打击任务的关键。不同于无人飞行器的其它应用领域,无人飞行器的突防领域所涉及的约束条件更加复杂、突防问题本身涉及的限制较多,因此对航迹规划算法的研究提出了极大的挑战。本文结合实际应用需求,提出了基于改进动态编码粒子群的无人飞行器智能突防航迹规划方法,并通过实验证明了方法的有效性和其独特优势。本文首先分析了无人
随着深度学习的不断发展,它逐渐被自然语言处理、推荐系统、语音识别和计算机视觉等人工智能领域广泛使用。而无论是医疗诊断、无人车、摄像监控还是智能滤镜,计算机视觉领域的诸多应用都与人们当下和未来的生活息息相关。风格迁移是计算机视觉领域中一个有趣的任务分支。风格迁移是指给定内容图片和风格图片,然后使用某种方法得到对应的风格化图片,该风格化图片具有给定的内容图片的内容且具有风格图片的风格。随着风格迁移受到
【目的】本研究将健康促进的对象聚焦于高血压患者,健康促进的环节从社区转移到综合医院,重点关注在健康中国的战略背景下,综合医院医护人员对于高血压患者的健康促进情况,从医护人员自身和医院环境构建两个方面分析了影响综合医院医护人员对高血压患者开展健康促进工作的因素。在此基础上,结合了国内外经验和专家访谈结果,进一步提出了加强医院医护人员开展高血压患者的健康促进工作的相关对策,所得出的结论有利于医院更加全
详细的三维信息可以为研究人员提供很多有价值的内容,在动画制作、医疗健康、考古还原、智能自动驾驶、工业制造等领域具有重要的应用价值。因此,单视图的三维信息获取是计算机视觉领域中一个有意义的研究方向。近几年来,随着深度学习在点云特征提取、点云三维目标检测上的快速发展以及大量的三维模型数据的产生,使利用神经网络通过数据引导的方式实现单视图的三维重建成为了可能。本文研究利用深度学习的方法由单视图重建物体的
随着信息技术的发展,数据量飞速膨胀,如何将大量数据进行直观的展示进而发现其中所包含的信息成为了数据挖掘领域的研究热点,由此数据可视化技术应运而生。在企业信息管理领域中,数据可视化技术往往仅局限于将数据进行简单的图表展示,缺乏与用户之间的交互,无法通过自定义配置数据创建个性化图表,缺乏灵活性。针对以上问题,以某火力发电企业数据库中的数据为研究对象,以数据字典,图表文件的结构设计,数据语义分析和图表匹
固定翼无人机因其续航能力强、巡航速度快、载重能力强等优点,在军用、商用以及民用领域都受到了极大的关注,而固定翼无人机中的飞翼式布局取消了尾部的垂尾与平尾,让无人机的整体构型更加的平滑,能够提供优越的隐身性能和良好的气动外形,从而使飞翼无人机成为了研究的热门领域。但同时,垂尾与平尾的取消,会导致无人机静稳定性不足,机翼部分舵面需要同时控制俯仰、偏航与滚转,给无人机的控制带来了难题。所以,本文针对飞翼
RISC-Ⅴ指令集的出现给碎片化的智能驾驶辅助系统（ADAS）开发带来了更多的机遇与挑战,目标跟踪技术作为ADAS关键技术拥有大量的嵌入式应用场景。然而,当前主流目标跟踪算法——核相关滤波算法（KCF）,在智能辅助驾驶场景依然无法很好地解决遮挡情况与多目标跟踪等问题。同时,目标跟踪算法在RISC-Ⅴ指令集上的移植与评测研究也较少。针对现有研究的不足,提出面向辅助驾驶的判别类目标跟踪算法评测与优化方
大数据时代下,移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据。通过数据挖掘,运营商可以为用户提供更优质的出行服务,但轨迹数据具有高度敏感性,通过轨迹数据,攻击者可以了解用户的生活习惯,宗教信仰,健康状况等敏感信息。这些敏感信息极易损害用户的个人名誉、身心健康,危害用户的切身利益。因此,如何让轨迹数据发布后不泄露个人隐私,又能满足运营商的数据挖掘需求,为用户提供更优质的生活服务成为当前丞待