基于深度学习的领域适应问题研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:charles8025
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在视觉领域中,收集充分标注数据代价昂贵,而标准监督学习在标注数据稀缺时泛化能力差,无法满足实际需求,领域适应作为一个新兴的机器学习方法,旨在利用有丰富标签的源领域数据训练分类器,用于无标签或少量标签的目标领域。目前,跨领域迁移学习效果不理想的主要原因是存在负迁移、欠适配和欠拟合等三大问题,而另一种更具挑战性的情况是源领域与目标领域处于异构特征空间,致使迁移更加困难。因此,针对上述问题,本文的主要研究内容为:第一,针对同构领域适应,如何学习有效特征并最大程度减小领域间的分布差异以改善欠适配问题,提出了基于自动编码器的领域适应网络。首先,源域和目标域样本分别经过两层编码和解码操作以最小化重构误差学习更有效的特征表达;然后,分别在特征提取层和分类层使用最大均值差异准则同时匹配领域间的边缘和条件分布以最小化分布差异,并使用softmax分类器将源数据标签信息编码以提高分类表现;最后,通过梯度下降法学习网络参数,根据分类器的输出完成对目标域无标签样本的预测。第二,针对同构领域适应,学习模型未能充分描述预测数据所服从的概率分布而同时导致欠拟合和欠适配问题,且普通图正则项的引入未能充分改善负迁移问题,提出了基于超图正则化降噪自动编码器的领域适应网络。首先,通过降噪自动编码器提取更具鲁棒性的特征以减小欠拟合问题;其次,使用最大均值差异准则同时匹配领域间的边缘和条件分布以解决欠适配问题;然后,根据源和目标领域样本间关系引入超图正则项以解决负迁移问题,并根据源领域真实标签得到分类器损失函数;最后,通过梯度下降法学习网络参数,完成目标域样本的分类。第三,针对异构领域适应,浅层结构无法很好地拟合数据分布并得到更有效的特征表达,且未同时考虑到领域间数据分布的匹配以及几何结构和标签的一致性,提出基于自动编码器的异构领域适应网络。首先,分别利用两组自动编码器将源和目标领域数据映射到共享特征空间,并使用最大均值差异准则同时匹配领域间的边缘与条件分布;其次,引入流形对齐项,其中几何项用以保持领域内数据几何结构的一致性,相似项和相异项则用以保持领域间标签信息的一致性;然后,利用源领域和目标领域的标签信息,得到softmax分类器损失项;最后,通过梯度下降法学习网络参数,实现对目标域无标签样本的分类。在多个数据集上进行的对比实验结果表明,与传统同构和异构领域适应方法相比,本文所提模型均能够获得更好的分类表现,有效解决跨领域知识迁移问题。
其他文献
眼睛作为人类感知和获取外界信息的重要器官,在人类生存进程当中具有举足轻重的作用。机器视觉的出现使得机器智能设备能够具有与生物相似的视觉能力。在此基础上,如何使机器
“修地球究竟有没有出息?”五年前,当丹徒县广播站播音员在《青年信箱》节目中播出这第一篇信稿后,就象一块磁铁吸引了农村青年的心。此后,《青年信箱》每星期五、六都与青
一、目前的现状及问题 职业教育随着我国经济改革和发展蓬勃地发展起来,她为改革后的经济发展提供了大量的社会需求的初级人才。我们英语教师必须根据形势要求,分析英语教学现
根据美国杂志《绿色化学》对绿色化学下的定义,认为绿色化学是在化学产品制造和使用中应该高效利用可再生的能源和原料,消除化学产品制造中产生的废物,避免使用有毒的危险试
系统辨识是通过系统输入输出数据确定系统数学模型的技术。很多实际系统的参数是随时间变化的,故对参数时变系统的辨识研究具有重要意义。本文针对参数时变的方程误差模型、方
图像分割是图像理解与解译中基本而关键的技术之一,是计算机视觉、模式识别和人工智能领域中的一个重要研究方向,其目的是将给定的图像划分成具有各自特性的互不重叠的同质区域
近年来随着现代化工业和人们生活水平的提高,对能源的数量与质量的需求也越来越高,但是能源是有限的,这就要求人们必须高效、快速的使用能源,功率变换技术就是提高能源利用效率的技术。因此,功率变换技术的研究成为一种热点。为了提高功率变换器对能量的转换效率,人们重点研究了功率变换器的建模与控制方法。功率变换器是一种非线性时变系统,动态特性比较复杂,这就对其建模和控制方法提出了很高的要求,但是一般常见的建模方
随着移动机器人应用领域的不断扩展和移动机器人导航问题研究的不断深入,非结构化环境特别是未知环境下的导航逐渐成为移动机器人领域倍受关注的热点问题。目前,自主探索已被公
随着空间技术的发展,太空竞争越来越激烈,为了能够在地面上真实的模拟外空间环境以及尽量减小科研投入和降低风险,地面仿真试验系统被越来越多的科研单位投入到实际应用当中。地
新的一轮以课程与教材为核心的改革正在逐步展开,这给中学化学教学带来了生机和活力,当然也带来了巨大的挑战.作为一线的中学化学教师,我最大的感受就是教学目标更明确了.教