【摘 要】
:
基于优化的元学习是一种旨在从指定的数据/任务中学习一组敏感的模型初始化参数的机器学习算法。该算法的优点在于当遇到一组新数据/一个新任务时,训练好的模型能够仅仅通过若干步梯度优下降化便在新任务上的测试集上获得良好的泛化表现。然而,从泛化性能的角度来看,我们认为传统的基于优化的元学习算法包含两方面缺陷:(1)由于每一个训练任务中包含的训练样本数量过少,算法在学习过程中使用过参数化网络时容易产生过拟合现
论文部分内容阅读
基于优化的元学习是一种旨在从指定的数据/任务中学习一组敏感的模型初始化参数的机器学习算法。该算法的优点在于当遇到一组新数据/一个新任务时,训练好的模型能够仅仅通过若干步梯度优下降化便在新任务上的测试集上获得良好的泛化表现。然而,从泛化性能的角度来看,我们认为传统的基于优化的元学习算法包含两方面缺陷:(1)由于每一个训练任务中包含的训练样本数量过少,算法在学习过程中使用过参数化网络时容易产生过拟合现象而影响算法的泛化性能;(2)基于优化的元学习算法本质上是一个双边优化问题(Bi-level Optimization),元参数(meta-parameters)的优化依赖于在每一个任务上学习到的任务特定参数(task-specific parameters)。然而,由于复杂的损失曲面,传统的元学习算法在学习任务特定参数的过程中难以找到最优解。与此同时,具有较强归纳偏好(inductive bias)的任务特定参数也会在元参数更新过程中起到负面作用。因此,本学位论文着重从图像分类任务的角度出发对基于优化元学习算法进行分析研究,通过对算法本身进行理论分析进而对当前算法框架进行优化,提升算法的精度表现。本学位论文提出了两种不同的元学习算法,利用不同的学习策略针对性的解决当前基于优化的元学习算法中的缺陷,具体研究成果包括:提出了基于网络剪枝的元学习算法(Meta-Learning with Network Pruning)。该算法将非结构性剪枝(Unstructured Network Pruning)与一阶的基于优化的元学习算法相结合,在非结构性剪枝中的稀疏阶段裁减掉不重要的网络权重参数,从而缓和过参数化网络(Over-parameterized Network)在少样本学习中存在的过拟合现象。理论分析和实验结果均表明,本论文所提出的算法有效的提升了元学习算法的泛化性能。提出了基于自适应偏好正则项的元学习算法(Meta-Learning with Adaptive Biased Regularization,Meta LAB)。该算法受偏好正则化项(Biased Regularization)启发,Meta LAB旨在学习一个由一个超参数系数控制的、更加自适应的偏好正则项。Meta LAB算法在原有的一阶元学习算法的内循环优化中嵌入了一个超参数优化问题,在优化网络参数的同时,优化偏好正则化项的系数,使得该系数随着任务的学习不断的变化调整,最后收敛到一个最优点。通过控制偏好正则化项的系数,该算法能够控制元参数在一个被约束的邻域中搜索最优的任务特定参数,同时利用偏好正则化项具有将原有损失函数变凸的优点获得更加精确的子优化问题的解,进而提高算法的收敛效率以及泛化性能。
其他文献
为了提高人类主动应对全球气候变化的能力,科学家们提出可以通过地球工程人为地为地球降温。其中,卷云稀疏化作为影响地气辐射平衡的地球工程方法开始受到广泛关注。为充分发挥卷云稀疏化的全球降温潜力,本研究对以往研究中使用的卷云播种方法进行了改进并使用第五版本通用大气模式(Community Atmosphere Model version 5,CAM5)进行模拟试验。首先,对比分析了以往研究中使用的播种方
声源定位技术是利用时延估计、波束形成等算法,处理采集到的声波阵列信号,得到声源目标方位的技术,在声呐、噪声检测、故障诊断、智能产品等领域具有广泛和潜在应用前景。随着机器人技术的发展,将声源定位技术和机器人平台相结合,可以更好地实现对声源目标的定位。机器人声源定位一方面可以辅助机器人感知周围环境中声源目标的方位,另一方面还可以利用机器人移动的特点,测量声源目标的相对距离,解决被动声源定位中难以确定声
浙江是我国水稻的主产省份,而直播稻由于具有省力、省工、简化的栽培优点,在浙江栽培面积逐渐扩大,目前占浙江省水稻栽培的36%。但直播稻的产量受气象条件影响波动明显,开展直播稻气候适宜性评价,是保证直播稻高产稳产的重要措施。为此,本文以“甬优15”水稻为材料,在浙江省龙游农业气象试验站进行两年10个分期播种试验,分析了播期对直播稻生长发育及产量的影响,并对ORYZA2000模型进行定标和验证,利用浙江
南海及邻近海区对海洋环境观测有着重大的需求,推动该地区海洋环境观测技术的发展对于实施海洋强国战略具有重要意义。鉴于目前海上观测能力的不足,需要开发一种新的高精度且自动化的海空协同观测系统,这就要求研发多智能体协同控制算法,协同无人艇、无人机等多种智能设备,实现海空协同观测任务。经调研,传统的控制算法过于依赖系统模型参数,也未考虑到通信时延因素对系统的不确定性影响。此外,由于任务不同、约束不同,传统
焦化产品是工业生产的主要原料之一,焦炉炼焦生产过程中焦炉煤气压力是影响焦炭产量和质量的重要参数,目前很多焦化工厂对于焦炉内煤气压力的控制效果并不理想,一方面影响生产效率和质量,另一方面造成了大量的煤气浪费。因此研究焦炉炼焦过程中煤气压力的控制有着重要的意义。在实际焦炉系统中,被控系统通常不是理想系统,内部存在不确定性、非线性以及时滞等多种系统内部因素,另一方面也会受到各类外部干扰的影响,这些因素使
近年来,深度学习技术的飞速发展,越来越多的人工智能产品也能落地了。伴随着深度学习技术在安防监控,银行金融,自动驾驶等安全敏感任务上的应用,深度学习模型作为一个黑盒的端到端模型,其安全性和隐私性也越来越受到人们的关注。对抗样本技术更是成为了深度学习研究的热门领域。虽然基于极大极小值优化的对抗训练方式成为了防御对抗样本攻击的最有效方法,但是对抗训练中存在两个问题:对抗训练比正常训练需要更大的模型容量,
刚性四足机器人具有较低的灵活性和较高的能耗,刚柔耦合四足机器人腿部设计有柔性系统,在往复运动过程中可以起到蓄能发力、节省能耗和提高运动高度的作用,对于复杂工况具有更好的通过性,被广泛应用于军事、工业探测和民用等诸多领域。现有的基于液压的柔性系统价格昂贵,人们需要一种价格更为便宜的柔性方式。本文的主要研究内容如下:(1)设计了一种基于弹簧机构的刚柔耦合四足机器人。建立D-H参数表,推导出刚柔耦合四足
近年来人工智能的发展越渐火热,计算机视觉领域的研究发展越来越贴近我们的日常生活。随着我国全面进入小康社会,人们对于饮食健康的问题日益重视,如日常生活的饮食监控、营养分析、菜品推荐系统等等。因此,基于计算机视觉的菜品图像识别技术成为了当前研究的热点之一。但是,目前的菜品图像识别的研究应用多放在西餐和日料中。中式菜品由于其种类繁多复杂,不同菜品之间也有可能非常相似,相同菜品也有可能差异过大。因此,对于
近年来,伴随着社会信息化程度的提高,作为计算机视觉代表性任务之一的视频行为识别,因其在智能监控、自动驾驶、媒体分析和机器人等领域具有广泛的应用前景,受到了越来越多研究者的关注。同时在深度学习等技术蓬勃发展的背景下,涌现出大量基于深度神经网络的视频行为识别研究。虽然前人已经完成了大量的研究工作,但是依然存在大量挑战。首先,由于人类行为在视频时序和场景变化上存在的联系,如何充分利用时序上下文信息,对视
CAN总线是现代汽车电子技术中最重要的串行通信总线,因CAN总线的可靠性、实时性、互操作性、灵活性、经济性等特点,被广泛应用于各种汽车电子部件的通信与控制系统中,CAN总线通信是基于优先级仲裁与调度的通信系统,因此,研究基于CAN总线的调度对提高CAN总线的利用率与系统通信性能具有重要的意义。论文主要研究基于FIFO和优先级序列的CAN总线系统,提出一种模型优化的思路,具体研究内容分为以下几个部分