神经网络多任务连续学习中灾难性遗忘问题的研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:wutiepeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类能够在其一生中不断学习新知识并对知识进行优化,同时还能够保留先前知识,这种能力对于自动学习系统在现实世界中发挥持续自主作用至关重要。机器学习发展至今,很多地方超过人类,但要拥有这种像人一样能够连续终生学习的能力,依然是一个长期的挑战。目前,广泛运用的深层神经网络普遍存在只能从固定批次的单一任务训练数据中进行学习的缺点。在有多个任务时,由于不同任务的优化目标往往不同,或即使目标函数相同数据集统计规律也不同,在连续学习中旧的权重可能被新的数据覆盖,这就导致了灾难性遗忘(catastrophic forgetting,CF)。特别是针对不同姿态(如多角度全局旋转)的多任务图片样本数据,网络模型学习能力差、鲁棒性弱、遗忘现象严重,随任务数增多网络学习能力急剧降低。本文针对神经网络在连续学习中出现的上述困难,提出了DMRCN和HAT-GAL两种解决模型。在DMR-CN模型中,提出了一种新的动态存储路由策略,根据当前的输入集来控制胶囊网络(Caps Net)的前向路径。为了回忆以前的知识,在这些连续的任务之间维护一个二进制路由表。然后,集成竞争原型聚类的增量过程来更新当前任务的路由。此外,采用稀疏性度量来解耦不同学习任务之间的显著路由。在基于HAT(hard attention to the task)记忆力网络提出的HAT-GAL模型中,结合生成对抗学习(generative adversarial learning,GAL)的多任务连续学习方法,来提高模型的“记忆力”。将GAL嵌入HAT网络全连接层中,解决网络随着任务数增多学习能力降低以及对多姿态数据鲁棒性差的问题。同时,结合进化策略进行网络及参数寻优,有效缓解随着任务数的增多,导致参数冗余、易陷入局部最优、前知识被覆盖的问题。DMR-CN主要对高分辨率图片的多姿态变换具有很好的效果,并且任务数增加到十个后依然对先前任务有很好的测试精度,对新任务有很好的学习能力。HAT-GAL主要对小分辨率图像,有很好的普适性,并且效率高,鲁棒性能更好,适用于多种小数据集。
其他文献
随着我国经济发展远景目标由增速发展转向质量发展阶段,房地产行业在新时期里受到经济环境和国家政策的影响越来越显著。房地产行业依靠土地红利来实现快速增值的传统重资产运营模式遇到了瓶颈制约,在此背景下众多房地产企业纷纷寻求向轻资产运营模式的转型,并且已取得不错的成效。房地产企业轻资产运营模式转型已经成为新的行业发展趋势。本文首先概括了国内外关于轻资产运营的相关研究进展,介绍了轻资产运营研究所依据的价值链
自主移动机器人在实际环境中能够像人类一样实现自主的移动是移动机器人智能化的重要性标志,而同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是实现这个功能的关键性技术基础。激光雷达因其较强的抗干扰性能力,可为移动机器人在构建环境地图时提供精准的数据,因此选用激光雷达作为移动机器人的外部传感器研究SLAM技术是目前主要的研究方向。本文基于粒子滤波
工业机器人作为实现工业自动化和智能化的重要设备,已经被广泛应用于各个领域,轨迹精度是工业机器人重要的动态性能,目前工业机器人的轨迹精度远低于定位精度。本文提出一种基于机器人运动学标定和关节空间插值误差补偿的方法来提高机器人轨迹精度,并通过仿真和实验进行了验证。本文以某通用型六自由度工业机器人作为研究对象,基于MD-H方法建立机器人运动学模型,在此基础上运用机器人微分运动学理论建立末端位置误差模型和
碳达峰与碳中和战略目标引导下,绿色健康的人居环境、低碳节能的住区建筑是当下焦点。以昆明为典型代表城市的温和地区气候条件优越、生态环境宜居、空气质量极佳,自然通风是温和地区居民最主要、最依赖、最高效的人居环境提升方法,住区高质量风环境营造于温和地区意义深远。本研究结合昆明全年逐时实测气象数据,深入分析以昆明为典型代表城市的温和地区风环境特点。以温和地区绿色建筑风环境舒适性现状调研与风环境规划设计现状
汽车发动机的生产制造是一个涉及跨领域多学科专业知识以及多个协同加工环节的生产活动,以发动机为关键核心的汽车制造业是知识密集型产业,知识是其可以用于提升汽车生产制造创新能力的核心和基础。尤其是对于具有复杂零部件以及严格装配要求的汽车发动机装配生产过程,一方面需要对企业内部发动机装配知识资源进行整理存储,用于根据任务需求进行相应推送,另一方面则需要针对装配过程中的某个特定功能或任务,对所需的一系列知识
石墨烯和六方氮化硼(h-BN)层状材料的垂直堆叠组成的范德瓦尔斯异质结构,是制造高质量石墨烯器件的理想模型。当石墨烯/h-BN异质结构受到压力作用时,电阻会发生明显的变化。本论文提出一种新型压力传感器的结构,在Si/Si O2衬底上用石墨烯/h-BN异质结构作为压力敏感薄膜,压力空腔形状设计为棱台型。在Si衬底表面沉积一层Si O2作为绝缘层,将导电的Si与异质结构薄膜绝缘,作为石墨烯/h-BN压
近年来,随着超精密加工领域的不断发展和进步,微纳米定位技术的作用越来越重要,而微纳米位移执行器核心材料的选择对微纳米定位精度有非常显著的影响。压电陶瓷作为一种典型的智能材料,具有响应快、能量密度大、分辨率高、质量低等优点,能够迅速将电能和机械能相互转化,目前已经被广泛用于各种微位移驱动控制中。以压电陶瓷材料为核心的压电陶瓷位移台的研究受到了越来越广泛的关注。然而,由于压电陶瓷材料本身固有的迟滞非线
电场的测量系统是定量评估各种电子设备在复杂电磁环境中生存能力的客观急需,是评估防护效果的检验手段,是研究电磁损伤机理和防护加固技术的基础,是对电子设备电磁环境效应研究提供实验技术支持的最重要的方法之一。因此对于准确的测量电场,无论是我们日常生活中还是科学研究当中都会有着十分重要的意义。许多的科研人员一直致力于测量电场的科研工作当中,近年来,用于电场测量的光学传感技术取得了很大的进展,并提出了多种相
转炉炼钢技术是目前全世界应用最为广泛的炼钢技术,而其关键就是实现对转炉炼钢吹炼终点的准确控制。但转炉炼钢的工业现场环境恶劣,同时伴随着生产过程中复杂的物理和化学反应,为了能够及时有效地实现终点控制,并满足出钢要求,准确地预报熔池内钢水碳含量和温度极为重要。其中,转炉炼钢生产过程数据与终点碳含量和温度有密切的关系。因此,基于转炉炼钢生产过程数据生成终点碳温软测量模型的方法应运而生。但在转炉炼钢过程中
近年来,无人机(Unmanned Aerial Vehicle,UAV)因其具备强机动性、高安全性、低成本的特点,在军事、农业、气象及水利等方面广泛应用。在5G的大时代背景下,随着无线网络中接入设备量的暴涨,无人机在无线通信领域的潜能被充分挖掘。它不仅可以为演唱会、电影院、体育馆等热点区域分担地面站网络负载压力,提高接入率,而且可以作为临时基站为无基站或基站受损区域提供通信服务。相比于传统基站,无