基于深度学习的图像自动标注方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:LFBLLFBL
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像自动标注的目标是预先给待标注图像标注一些丰富的、恰当的可以准确描述图像内容的关键词。由于具有在语义层面描述图像的能力,图像自动标注不仅在图像分析与理解领域有着广泛的应用,在形如城市管理、生物医学工程等相关学科也有着广泛的应用。而其中如何挖掘图像低层视觉特征和高层语义之间的关联性以尽可能的减小“语义鸿沟”是图像自动标注的关键所在。随着深度学习技术的飞速发展,人们尝试利用深度神经网络的深度架构和高效的认知能力来获取更稳健的图像特征,以及挖掘图像特征和语义之间更深层次的关联来进行图像自动标注。本论文提出了一种基于深度学习的图像自动标注方法,同时设计并实现了相应的算法来验证本模型的有效性。首先,在大量文献阅读的基础上,本文将图像自动标注方法分为5大类且从模型的框架结构、主要思想、出发点及主要侧重点、复杂度等多个角度对各类标注方法进行了描述和分析,以及在各类标注方法之间进行了详细的对比。此外,对于图像自动标注领域目前仍未解决的一些难题也进行了讨论和分析。其次,本文提出了一种结合图像最近邻的基于深度学习的图像自动标注框架。一方面通过深度神经网络将原始数据逐层抽象为标注所需的稳健的特征表示;另一方面则利用深度学习强健的学习能力来抽象出图像视觉特征和高层语义之间更加深层次的联系以更好的完成图像自动标注。具体地,本论文所提出框架的研究内容主要包括:第一,为了更好的表征图像,本论文提出了一种结合图像视觉特征和语义特征的稳健的图像特征表示方法。本文尝试通过有效的图像语义特征来融合图像视觉特征以得到高效的图像表征。具体来说,一是利用卷积神经网络(Convolutional Neural Networks,CNN)获取图像视觉特征;二是根据待标注图像的邻域图像来构建候选标签集,再通过多层感知机网络获得待标注图像的语义特征表示。第二,为了进一步的提升图像自动标注的性能,引入了标签个数预测模块。也即,考虑到不同图像之间内容和场景复杂度的差异,不再人为限制给每幅图像标注固定个数的标签,而是根据图像自身内容的复杂性,灵活的自动预测标签个数来完成图像标注。这样的标注方式也更加契合现实需求。最后,通过所获取的稳健的图像特征,分别训练多目标分类模型和标签个数预测回归模型,通过多目标分类结果结合所预测标签个数进行图像自动标注。为了验证本文所提出模型的性能,对于标注有81个主题或标注有1000个标签的标准图像集NUS-WIDE,通过模块功能验证实验,证明了本模型所提出的各功能模块(语义特征获取模块、标签个数预测模块)的有效性;以及通过和采用深度学习技术的图像自动标注领域一些经典模型(CNN+softmax模型、CNN+WARP模型、CNN-RNN模型、RIA模型、SINN模型以及tag neighbor+tag vector模型)的对比,也验证了本文所提出的标注方法是有价值的。
其他文献
随着社会和经济的发展,人口老龄化进程的加快,人群疾病谱、死亡谱的改变,以及社会医学模式的转变,三级预防概念的提出,如何合理配置和利用卫生资源,控制医药费用的过快增长。只有积
深层水泥搅拌桩是进行软基处理的一种有效形式。本文介绍了深层水泥搅拌桩施工工艺流程、设计参数及要求、施工控制、质量检验等控制环节。
当大断面隧道下穿人防设施时,掘进施工针对当前掘进围岩情况如何适时地调整开挖方法、炮眼钻设、爆材选型、装药参数及起爆网络等相关技术,是实现隧道工程施工安全的主要技术难
今天,中华医院管理学会在这里召开全国医院权益维护和自律研讨会,这是建国以来第一次召开这样的会议。我们学会和医院报的一些同志根据许多院长的呼吁为召开这次会议已经酝酿多
当前,我国卫生改革进入了关键时期,各项改革不断深化和发展。李岚清副总理指出,城镇职工基本医疗保险制度、医疗机构、药品生产流通体制三项改革的总体目标是:用比较低廉的费用,提
集团化是我国期刊走向市场的必由之路——组建期刊集团的基本条件业已具备——不抓紧时间改革就有被吞并或挤出市场的危险
随着互联网的飞速发展以及大数据时代的来临,人们获取信息资源的手段也更加便捷,同时也带来了信息泄漏、敏感信息传播等问题。如何在保证数据资源开放及共享的条件下,防止涉
钢琴小组课打破了传统的一对一教学模式,是一种融技巧、理论、实践为一体的全新教学体系。本文着重从能够体现高师钢琴教育师范特色的方面来阐述小组课的内容、优势、分类、作
<正>档案理论已经发展了一百多年,档案工作者和档案学者提出了一些理论来选择和保存档案。将这些档案理论串联起来的一条线索是围绕档案鉴定的讨论。鉴定是档案工作中的一个