迁移学习中特征分布权重的自适应计算研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:boycant
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
迁移学习是一种利用从源领域数据中提取的模型对目标领域数据进行辅助训练的方法,旨在解决分布不同以及标记缺失的目标领域训练问题。已有的迁移学习方法大多基于特征表示学习将不同领域中的数据特征映射到一个不变的特征空间,从而增强目标领域训练。在基于特征表示学习的迁移过程中,其目标函数通常需要从多方面来进行领域间的分布差异度量,常见的有边缘分布、条件概率分布以及类别分布。现有的方法对不同的特征差异度量采取固定的静态权重设置,调参困难,且难以获得最优结果。因此,如何根据迁移任务对不同度量标准进行自适应的权重计算是迁移方法中的一个普遍存在的问题。本文基于特征表示学习的迁移学习方法,开展迁移过程中的参数自适应计算方法研究,主要工作如下:(1)基于流形学习框架对边缘分布与条件分布进行度量是一种较为常用的迁移学习方法,其效果受边缘分布和条件分布权重参数影响较大,尤其在域间差异较大的情况下。为此,本文在流形学习框架的基础上设计了动态评估模型,使得其权重分布更为合理。具体来说,通过距离公式对边缘分布与条件分布的权重进行动态评估,并以此调整参数取值。在文本和图像数据集上的结果表明,与传统静态的迁移学习算法进行对比,基于流形学习权重自适应计算的有效性。(2)已有的迁移学习方法表明在域间可迁移性的联合分布基础上,进一步考虑类内可区分性的度量可提高迁移性能。针对联合概率分布中可迁移性和可区分性的权重计算问题,提出根据距离公式对域间可迁移性和类内可区分性进行权重评估,自适应的调整其权重取值。在3个图像分类数据集上的实验结果表明了该方法与传统迁移学习算法相比的优越性。
其他文献
领域适应方法由于能够有效克服传统机器学习中需获取大量标签和模型重新训练的问题,成为近年来的热门研究问题之一。领域适应方法利用源领域中潜在的信息为目标领域训练一个高置信度的分类器。自动编码器由于具有健壮的特征表示能力,成为领域适应任务中的常用模型之一,并取得了很好的效果。尽管基于自动编码器的领域适应方法具有较强的泛化能力,但在实际应用中仍存在一定的不足,如在训练新的特征空间时边缘降噪自动编码器(m
随着遥感技术的发展,遥感数据融合受到广泛关注。其中,高光谱与多光谱图像融合是一个研究热点。高光谱与多光谱图像融合的目的是获得一幅高空间分辨率高光谱图像,解决直接从传感器获取的高光谱图像空间分辨率低的问题。融合的任务是在保证较低光谱畸变的同时增强图像的空间信息。基于此,本文通过字典学习的方法对融合算法进行研究。本文在现有优秀算法的基础上,通过分析目前融合结果普遍存在的问题,提出两种基于字典学习的融合
随着互联网和大数据技术的发展,许多应用领域如新闻检索、淘宝购物和银行交易等产生海量的流式数据。不同于传统数据挖掘任务中采用的静态数据,这些数据流具有海量、快速、标签缺失、概念漂移或概念演化的特点,同时,由于存在多标记加剧类不平衡与类标签噪声问题,使得数据流的分类研究工作面临巨大挑战。因而如何从标签缺失的数据流中高效精准地挖掘潜在的、富有价值的信息成为数据流分类问题研究的重要任务之一。本文旨在充分利
近年来,我国国民经济发展很快,带动了我国电信行业稳定增长,目前正在研发5G关键技术和产品,需要打造系统、芯片、终端、仪表等完整产业链,重点推进骨干网、城域网、固定宽带接入网、移动宽带接入网、国际通信网和应用基础设施建设,要求升级改造国干网光缆线路,推进双向网、光纤化改造。因此,进入通信电缆人孔内布放光缆、光缆管路施工或障碍维修工作情况日益频繁。通信电缆人孔属于传输网络必经场所。类似于通信电缆人孔的
遥感卫星携带的传感器受到自身性能的约束,采集的单一遥感影像数据的无法兼得高空间分辨率和高时间分辨率的问题。遥感图像时空融合技术是当前解决此问题的重要手段之一,该技术通过结合多个卫星传感器的不同优势得到高时间、空间分辨率的影像数据。就融合数据而言,由于时间间隔较大,预测时刻图像相对于先验时刻图像局部区域发生了地物变化,造成基于先验时刻图像对在变化区域构建的高低分辨率先验失效。就稀疏表示方法而言,方法
在互联网发达的信息化时代,海量文本信息的表示、存储、传输和利用已非常普遍,但有价值的信息获取却让人们陷入困境,导致“信息发达,知识贫乏”。如何在我们生存环境周围,从海量数据中挖掘出有潜在实际意义和价值的信息成为目前亟待解决的研究热点问题之一。在日常工作和生活中,我们接触到绝大多数数据信息都是以文本格式存在的,人们一直渴望能够找到一种高效的工具,能够依据文本信息主体的不同特征,对这些海量文本数据进行
无线传感器网络(Wireless Sensor Network,WSN)在交通管理、智能监控、智能建筑、军事侦察、环境监测领域都有着广泛的应用。无线传感器节点的电池能量有限,特别是在特殊监测的环境中,更换电池的难度增加,导致电池的能量消耗殆尽,网络质量变差。因此,如何延长WSN的寿命,保证节点的能量供应是尤为重要的研究话题。此外,随着网络规模的不断增大,节点间传输数据时产生的干扰也越发严重,由于无
在大数据驱动下的数字化社会中,个人的身份认证变得尤为重要,在此背景下,越来越多的身份认证方式应用在各个领域。掌纹识别作为一项新兴的生物特征识别技术,在过去的二十年里,多种传统掌纹识别方法被提出应用于相关场景中。近年来,深度学习的兴起为多项任务实现了新的突破,掌纹识别也逐渐在深度学习领域展开研究。然而,目前大多数深度掌纹方法往往只是简单的使用存在的经典神经网络完成识别任务,并没有充分的学习掌纹本质特
视觉问答是一种跨模态分析推理任务,其目的是回答基于图片内容提出的自然语言表述的问题。一个完整的视觉问答过程通常被分为三个过程:特征提取、特征选择与融合、预测分类。其中特征选择与融合过程负责跨模态特征交互和对齐,是视觉问答任务的核心。为了实现跨模态特征的更细粒度交互与筛选,本文对视觉问答的特征选择与融合算法展开研究。本文的主要工作如下:(1)现有的视觉问答模型普遍使用注意力机制来选择跨模态输入中的关
随着互联网的发展,越来越多的创作者在社交媒体上发表文章。如何从大量的多媒体文章中自动过滤出高质量的内容,是信息推荐、搜索引擎等系统的核心功能之一。然而,现有的方法存在三个局限性:(1)已存在的方法一般将内容建模为词序列,从而忽略了长距离单词依赖以及非连续短语。(2)由于现有的方法大多只关注文本内容,忽略了社交媒体平台上的内容具有多模态信息(如:文本、图像)。(3)它们依赖大量人工标注的数据来训练质