李群连续元学习算法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:gaylene
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习在大量标记样本的支持下取得了巨大成功。但是当标记样本数量不足时,就会出现过拟合现象。另一方面,神经网络容易发生灾难性遗忘,所以它并不能像人类一样做到连续学习。连续学习作为深度学习之后的热点领域,虽然在一定程度上解决了灾难性遗忘问题,但大部分方法是通过手工设计的机制学习归纳偏差,这限制了其发展。元学习不仅可以将连续学习而不遗忘的能力作为元目标优化模型,还可以在样本有限的情况下仅通过几次学习就达到很好的效果,因此利用元学习进行连续学习是一个有希望的研究方向。但是传统的欧氏度量并不能用于现实世界的非线性数据,这使得元学习算法在一定情况下会导致模型不稳定。基于此,本文针对灾难性遗忘现象、标记样本不足和模型不稳定等问题,利用李群数学研究李群连续元学习理论框架。本文的研究成果包括:(1)提出基于注意力机制的多任务元学习模型(MTMLAM)。现实生活中采集的数据总是存在噪声;另一方面,浅层网络在提取样本特征时,由于网络结构浅,导致样本特征提取不完全;深层网络虽然提取的样本特征增多了,却对某些至关重要的特征没有给予充分重视。针对以上问题,本模型通过在网络中嵌入注意力机制模块获得样本图像最关键的对比特征。(2)提出连续元学习模型(CML)。针对灾难性遗忘现象、标记样本不足等问题,本模型运用余弦相似度判断机制对任务梯度的更新方式进行优化。最后在通用数据集上证明该模型的有效性。(3)提出李群连续元学习模型(LGCML)。针对连续元学习模型存在的更新速率慢、不稳定等问题,本模型一方面通过改变内循环更新规则增强连续性,另一方面利用正交约束限制参数空间、采用自然梯度下降的方式,解决以上存在的问题,最后通过实验验证本模型的有效性。
其他文献
<正>高温环境战创伤病情变化及进展与常温环境大不相同,致使其麻醉管理与救治极具挑战性。本指南以全军麻醉与复苏学专业委员会制定的《战创伤麻醉指南(2017)》为基础,结合高温环境战创伤的特点,进一步细化其麻醉与救治策略,指导麻醉医生及相关救治人员对高温战创伤伤病员进行快速、准确地评估和及时有效地处置,以提高我军战创伤救治能力。
期刊
随着社会综合化程度日益加深,跨学科实践的整合教育成为国家培养综合型人才的重要方式。物理学科具有基础性、实践性和发展性的特点,与日常生活、工程实践、社会发展等方面紧密联系。通过开展物理学科统整的跨学科实践教学,引导学生运用多学科知识和方法解决真实问题,可以不断发展学生的问题解决能力和实践创新能力,培养学生的核心素养。地方文化是跨学科实践的重要教学资源,本文主要对基于地方文化资源的初中物理跨学科实践进
学位
电子税务优化是税收征管工作的一项重要内容。在新冠疫情防控常态化背景下,线下办税服务厅实行严格的限流措施,大部分涉税业务只能通过网上渠道进行办理,纳税人和税务部门更依赖于涉税信息系统,由此带来各方对电子税务优化的要求越来越高。本文以北京市税务局电子税务优化为研究对象,深入研究为适应这一特殊时期,北京电子税务优化所做的各项应对举措,并对其存在的涉及办税体验、税收监管和人才培养等方面的问题进行研究分析。
学位
国家标准和学校教育注重培养具备学科素养和实践能力的人才,以符合当下社会的需求。教育从以往的知识导向逐渐向素质导向和能力导向发展,注重学生学科核心素养的形成,以培养他们认识世界和改造世界的能力。物理作为自然学科的重要组成部分,对学生认识自然和科学起到重要作用。因而对物理教学进行整体优化设计,促进学生科学本质观的形成就显得尤为重要。格兰特·威金斯和杰伊·麦克泰格提出的逆向教学设计重视单元的整体教学效果
学位
道教经历了约两千年的文化延续,已经形成了庞大繁杂且多元的组织派别、教理教义、道经典籍与思想文化,而“形气”说在构成这些形式、思想与文化的基础内涵中首当其冲,尤其是在宫观的空间环境营造方面表现得尤为明显,从先秦的黄老道至汉末的五斗米道再到当今的全真与正一两大道派,“形气”理论都在其空间形态、营造方法以及环境思想上起着重要的指导作用。本文以道教“形气”理论为基础,首先探索“形”与“气”的成因、作用机制
学位
随着微机电系统的不断发展,隧道磁敏传感应运而生,结合高灵敏隧道磁阻传感可以实现高精度加速度的测量。隧道磁阻加速度计具有体积小、精度高以及可集成化的优点,在惯性导航、汽车工业、重力场检测等领域有着广阔的应用前景。隧道磁阻加速度计是通过力、磁、电多物理场耦合来实现加速度的测量,而温度影响是制约了其性能的关键因素之一;同时对于磁敏传感而言,环境磁场也对加速度的测量影响巨大。因此,探究如何提高隧道磁阻加速
学位
事件抽取是信息抽取领域的重要研究之一,其旨在从文本中高效且精准的提取事件属性的结构化信息,包括事件触发词、事件类型、事件论元及其角色。也因此,事件抽取可以细分成4个子任务,即触发词识别、事件类型分类、论元识别及角色分类任务。其中,前两个任务可以合并称为事件检测任务。本文集中在事件检测任务开展研究,即仅针对触发词识别和事件类型分类任务进行技术探索。依据权威数据集ACE-2005的事件检测任务指南,事
学位
在城镇化高速发展的社会背景下,古村落成为人们了解历史文化、领略历史风情、感受历史风貌的重要载体。早期大量杀鸡取卵式的更新对古村落文化传承造成了难以逆转的破坏,这同时也成为文化传承理念融入古村落保护与更新设计中的契机。本文基于文化传承视角,以建设文化氛围浓厚且独具特色的古村落为设计目标。在尊重场地文化的前提下,注重现代化设计与场地的自然融合,激活场地新旧空间的灵活转化,充分发挥古村落文化效益,为古村
学位
在空间众包任务分配中,为了实现最大化分配任务总数或最大化工人报酬等目标,工人被要求向众包平台发送自身的真实信息。然而其中的隐私信息存在被不可信平台泄露或滥用的风险,因此研究人员提出了许多隐私保护机制,本地化差分隐私是其中被广泛应用的一种方法。然而在一些具有特殊要求的空间众包任务中若直接套用现有的本地化差分隐私机制会造成工人数据可用性降低,任务完成质量大幅下降。针对新型场景下的隐私保护需求,本文基于
学位
硅微轴对称陀螺作为常见的MEMS惯性传感器之一,可分别工作在速率和速率积分两种工作模式用于测量角速率和角度,速率模式具有高精度等特点,速率积分模式具有大量程等特点。如何将速率与速率积分模式的高性能都充分发挥出来,则需要开展两种模式的切换技术研究,同时还要对两种工作模式的性能进一步优化,达到发挥工作模式优势、提升硅微轴对称陀螺性能指标的目的。本文基于轴对称结构中的类蛛网状盘式谐振陀螺,开展了陀螺在预
学位